ニューラルネットワークの高効率インメモリ・リコンフィギャラブルプロセッサの研究

基于神经网络的高效内存可重构处理器研究

• 批准号: 18J20307
• 负责人: 安藤 洸太
• 金额: $ 1.98万
• 依托单位: Tokyo Institute of Technology (2019-2020)Hokkaido University (2018)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J20307/
• 关键词: ニューラルネットワーク; リコンフィギャラブルLSI; 畳込みニューラルネットワーク; 再構成可能アーキテクチャ; アクセラレータ; 量子化; ディザ; LSI; ハードウェア志向アルゴリズム; 深層学習; ハードウェアアクセラレータ; ハードウェアアーキテクチャ; ディジタル信号処理

前年度より、ニューラルネットワークの１層分の係数を格納するメモリと対となった積和演算器を再構成単位としてアレイ状に配列した、粗粒度なメモリ密結合型（ニアメモリ）リコンフィギャラブルアクセラレータを考えてきた。本年度はこの発展形として並行して発想された、演算器個別ではなく演算器アレイ全体に結合する独立制御可能なメモリにより、ニューラルネットワーク層単位でメモリ読み出し・演算・メモリ書き戻しまでをパイプライン処理する方式に注力した。近年の大規模化するニューラルネットワークの効率的処理の観点において、処理全体の消費電力にメモリアクセスが占める割合が非常に大きいことから、一度メモリからロードされたデータを可能な限り再利用すること（算術強度の改善）が重要である。一方、近年の高速化を目指すスパースなモデルアルゴリズムには不連続・不規則なメモリアクセスを強いるものが多数となり、従来の方法での算術強度の向上は難しくなった。本方式は１）演算器アレイの行と列をデータ構造の独立の次元に当てて並列化すること、２）それぞれの演算器に供給するデータの選択は独立制御可能なメモリのアドレシングで行い、隣接メモリ間でのデータのアラインメントずれを吸収するデータ選択機構を取り入れること、３）演算器アレイでの計算結果の書き戻しもパイプライン上で行うことの３点から、不規則なデータ構造に対しても演算器の占有率と算術強度の最大化を図るものである。この方式に基づいて試作LSIを製作し、評価を行った。その成果は現在国際会議へ投稿中（採否通知待ち）である。また、既存のニューラルネットワークモデルの認識精度を保ったまま、この演算器構造で最高効率となるスパースなデータ構造に変形しながら再学習する学習アルゴリズムも提案中である。

自上一年以来，我们一直在想一个粗粒的内存紧密耦合（近存储器）可重新配置的加速器，其中产品总和算术单元与存储存储的存储器配对，该内存存储了一层神经网络的系数，以阵列作为重构单元的阵列中排列。今年，我们使用神经网络层的内存读数，计算和内存写入基础上的管道内存方法，使用独立控制的内存与整个算术单元的整个数组，而不是单个算术单元。鉴于近年来神经网络的有效处理变得越来越大，内存访问占整体处理功耗的很大比例，因此，尽可能多地从内存中加载数据一旦将数据重新使用数据很重要（提高算术强度）。另一方面，近年来旨在提高速度的许多稀疏模型算法都迫使不连续和不规则的内存访问，因此很难使用常规方法来提高算术强度。该方法旨在最大化算术单元的占用和算术强度，即使对于不规则的数据结构，从三个点开始：1）将算术单元阵列的行和列放置在数据结构的独立维度中，2）选择要在每个算术中选择的数据，以在每个算术中选择数据，并在数据结构中选择独立的数据，并将数据置于数据结构中，并在数据结构中置于数据结构，从而独立控制数据，并选择数据结构。记忆，以及3）写回计算会导致管道上的算术单元阵列。基于此方法，生产并评估了原型LSI。结果目前已发布到国际会议上（等待接受通知）。我们还提出了一种学习算法，该算法在使用此算术单元结构的同时，将其转化为最有效的稀疏数据结构，同时保持现有神经网络模型的识别精度。