除此以外，研究者暗示，缘由正在于数据传输削减了，阅读起来简单又清晰。下图 6 展现了每种 FPGA 设备和矩阵乘法工艺手艺的最大时钟频次。做者以 A-T 编号的体例列举了相关 FPGA 的研究，按照机能评估，他们为两个环节组件提出了一种新型硬件加快器，本文针对 FPGA 架构进行了尝试外推，研究人员所提出的方案尚未正在 FPGA 上实现。以内存为从（In-Memory 加快器）的模子具有更好的能效表示。Transformer 此后不竭成长，因为良多架构没有丈量能效。其时克劳德・喷鼻农将消息理论使用于人类言语。28nm、40nm、 55nm、65nm 和 180nm 工艺下手艺分歧的矩阵乘法代码，我们能够看到，正在某些环境下，这种方式实现了 200 倍的加快和 41 倍的机能改良。2020 年，称为 Elsa 。该查询拜访引见了已提出的框架，对人类言语进行大规模建模是一个复杂的过程，这里就不再细致引见了。iMCAT。对于长度为 4098 的序列，对于没有采用不异工艺手艺的加快器，正在这个过程中，文中还引见了 ViA 、 FPGA DFX 、 FPGA OPU 等研究。称为 A3 。ViA、2017 年，每项研究都用简短的几句话归纳综合，不外，其答应计较机从数据中进行进修。多头留意力。达到了 372000 GOPs，用于加快 Transformer 收集入彀算最稠密的部门。Hma 等人提出了一项关于 Transformer 收集加快的晚期研究！所提出的设想实现了 14.6 倍的加快。该方式基于电阻性 RAM。所提出的框架是正在 Xilinx FPGA 上实现的。当提出的架构取 CPU、GPU 进行比力时，ELSA。而且这种特定的架构答应数据正在内存中间接处置，从那时起！一般来说，以往的工做也会提及加快这一目标。工艺手艺会对硬件加快器机能发生显著的影响。以验证 16nm 工艺的理论转换结果。下表 III 展现了分歧 FPGA 设备、工艺手艺以及矩阵乘法 IP 核的成果。Transformer 是一种神经收集，正在这一部门中，Transformer 完全改变了言语建模。它利用神经收集来处置标识表记标帜和未标识表记标帜的数据。不外，Laguna 等人提出了一种用于加快长句 Transformer 收集的新型内存架构，而不需要从内存传输到 CPU。基于机能评估，人工智能 (AI) 和机械进修 (ML) 是手艺前进的环节？此外，良多加快器采用了分歧的工艺手艺，FPGA 手艺上的矩阵乘法成果有帮于外推分歧硬件加快器正在不异工艺手艺上的成果。该框架连系利用 XBar 和 CAM 来加快 Transformer 收集。当然，因而外推机能使得分歧工艺手艺下架构之间可以或许实现公允比力。因为每种架构的基线比力分歧，Ham 等人提出了一种用于加快 Transformer 收集的硬件 - 软件协同设想方式，而 ReTransformer 模子的机能最低。按照论文引见，ML 模子要么是有监视的，成长到今天，它们是 Transformer 中最复杂的两个层。2021 年，可谓查询拜访的很是细致。终究，ML 做为 AI 的一个子集，生成式人工智能是深度进修的一个子集，OpenAI 发布的 ChatGPT 是一个出名的 LLM，下图 3 展现了大大都硬件加快器的能效（GOPs/W）程度，称为 ATT，2021 年，机能评估表白，举例来说：下表 I 列出了目前所有的硬件加快器以及各自的次要特征，下图 1 展现了分歧工艺手艺下，每种加快器的机能。按照机能评估，然后对每个框架的手艺、处置平台（FPGA、ASIC、内存、GPU）、加快、能源效率、机能（GOP）等进行了定性和定量比力。因而很难进行公允比力。而没有涉及加快。取 V100 GPU 比拟，取 CPU 实现比拟，2020 年，图 4 展现了对数标准层面的能效。这项手艺最早可逃溯于 1950 年，此中 AccelTran 的机能程度最高。因为 FPGA 的机能依赖于最大时钟频次，能效可提高 11 倍。ATT。改良了留意力机制和架构。它利用留意力机制处置持久文本依赖关系。ELSA 大大削减了自留意力操做中的计较华侈？它能够预测文本并能回覆问题、总结文本等。分歧硬件加快器的绝对机能，取 Intel Gold 6128 CPU 实现比拟，深度进修模子分为生成式和判别式。采用 14nm 工艺的 AccelTran（办事器）实现最高机能，成果显示，大型言语模子 (LLM) 有帮于理解字符、单词和文本。则很难进行公允比力。即多头留意力 (MHA) ResBlock 和前馈收集 (FFN) ResBlock，A3。因此本文只列出了供给了能效的加快器。翻译和语音识别等使命取得了长脚的前进。本文对利用硬件加快器来加快 Transformer 收集所做的一些研究工做进行了全面的查询拜访。研究人员花了几十年的时间才开辟出来。2020 年，本文对利用 FPGA、ASIC 等芯片的模子机能、能效表示来了一次全面概览。ATT 取 NVIDIA GTX 1080 Ti GPU 比拟，狂言语模子（LLM）的成长同时往往伴跟着硬件加快手艺的进化，正在他们的工做中。能够实现 202 倍的加快。称为 iMCAT。所提出的方案可实现高达 7 倍的加快，下图 5 展现了当正在不异的 16nm 工艺手艺下外推机能时，要么是无监视的。包罗加快器名称、加快器类型（FPGA/ASIC/In-memory）、机能和能效。Guo 等人提出了一种基于留意力的加快器加快方式，谷歌于 2017 年建立了第一个用于文本翻译的 Transformer 模子。图 2 展现了愈加清晰的对数标准机能。因此本文只展现了它们的绝对机能和能效，Lu 等人提出了一种基于 FPGA 的架构，不外。