深層学習用ハードウェアアクセラレータに関する研究

深度学习硬件加速器研究

基本信息

批准号：
19J30002
负责人：
植吉晃大
金额：
$ 1.47万
依托单位：
Hokkaido University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-25 至 2021-03-31
项目状态：
已结题

项目摘要

深層学習は実用的な画像・音声認識において極めて高い性能を示し、世界的にニューラルネットの第三次ブームを引き起こしている。深層学習は予測・分類の非常に高い性能を示すが、計算量が膨大なため、実用的に応用・発展を遂げていくために、高効率(=電力/時間)なハードウェアシステムの構築が求められている。本研究では、ハードウェアに親和性を持たせたアルゴリズムを考案・評価し、シミュレーションレベルで精度誤差を1%未満で抑える低消費電力な計算機アーキテクチャを提案する。平成３１年度では、深層学習用ハードウェアアクセラレータチップの調査と実験を行った。計算回路規模を見積もり、その計算回数を減らすための新しい深層ニューラルネットワーク(DNN: Deep Neural Network)モデルを提案した。DNN計算は、DNNの最小演算単位であるシナプス計算を、並列に大量に行う。これらは、単純な積和演算の繰り返しであるため、これらの計算を少ないメモリアクセスで、他並列に行うことが、効率的なハードウェア設計の肝となる。しかし、これらは学習済みのモデルが定義されると、決められた仕様の下で、ハードウェア設計者が最適設計を行う必要があった。本研究では、モデル設計自体もハードウェア設計者が仕様を決められるような新しい機構を提案した。少ないオーバーヘッドの予測器を用いて、動的に本流のDNN計算をスキップする機構である。これは、計算規模と精度を、学習済みモデルに対して、後から調整することが可能となる。平成３１年度では、これをベースとした、実回路上での回路規模・電力の評価を行った。

深度学习在实际图像和语音识别中表现出了极高的性能，并正在全球范围内引发神经网络的第三次热潮。深度学习在预测和分类方面表现出非常高的性能，但由于计算量巨大，需要构建高效（=功耗/时间）的硬件系统才能实现实际应用和发展受到追捧。在这项研究中，我们设计并评估了一种与硬件兼容的算法，并提出了一种低功耗计算机架构，可在模拟级别将精度误差抑制到 1% 以下。 2019财年，我们对深度学习的硬件加速芯片进行了研究和实验。我们提出了一种新的深度神经网络（DNN）模型来估计计算电路规模并减少计算次数。 DNN 计算并行执行大量突触计算，突触计算是 DNN 的最小计算单元。这些是简单的重复乘积和运算，因此以更少的内存访问并行执行这些计算是高效硬件设计的关键。然而，一旦定义了经过训练的模型，硬件设计人员必须根据预定的规格执行最佳设计。在这项研究中，我们提出了一种新机制，允许硬件设计人员确定模型设计本身的规格。这是一种通过使用低开销预测器动态跳过主要 DNN 计算的机制。这使得以后调整训练模型的计算规模和精度成为可能。 2019年度，我们以此为基础在实际电路上评估了电路规模和功率。