学習型スマート情報処理を実現する集積回路アーキテクチャの開拓

开发集成电路架构实现基于学习的智能信息处理

• 批准号: 18J10772
• 负责人: 肥田 格
• 金额: $ 1.22万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2020-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J10772/
• 关键词: 脳型情報処理; 機械学習; 深層学習; ニューラルネットワーク; アナログ電子回路; アーキテクチャ; 抵抗変化型メモリ; メモリスタ

メモリスタを用いた脳型情報処理回路の学習方法の開拓を試みた。メモリスタによるアナログ・ニューラルネットワーク演算回路の低電力深層学習回路への拡張を目指し、配線上の困難の克服や回路面積を従来の1/4に縮小するような、デバイス・アウェアな学習則を開発した。(1)Locally-connected Convolutional Deep Belief Network (LCCDBN)3次元積層されたメモリスタの層間配線トポロジを活用し、畳込みDeep Belief Network(CDBN)として利用するために、配線の複雑化を緩和する階層別教師なし事前学習法および局所的な結合による畳込みをCDBNに適用した。得られたLCCDBNは、画像に対する特徴抽出器として、従来のCDBNと同等の性能を獲得し、さらに未学習の画像データセットに対する転移学習も可能であることを示した。一連の結果をまとめた論文は、Nonlinear Theory and Its Applications (2018)に掲載された。(2)重み符号固定学習法深層ニューラルネットワークの各シナプス結合重みに対し、正負符号の反転が伴う学習を禁止する制約を課しても、符号非制約下の場合と同等の汎化能力を学習し得ることを明らかにした。従来は1個の重みに対し2個のメモリスタ素子を用いて、作動的に正負両方の符号に対応していた。本手法を適用した場合、各重みの学習中・学習後の符号は学習前の符号と常に同一であるため、1個の素子で1個の重みを表現することができ、必要素子数が半減される。クロスバー構造を利用した全結合型アナログ・ニューラルネットワークの場合では、メモリセルおよび配線の圧縮により回路面積が1/4に縮小され、さらなる低電力化が見込まれる。

我们试图开发一种使用记忆器的学习方法来用于脑型信息处理电路。为了扩展使用记忆器到低功率深度学习电路的模拟神经网络算术电路，我们制定了一种设备感知的学习规则，这些规则克服了布线困难并将电路面积减少到上一个模型的四分之一。 （1）使用局部连接的卷积深度信念网络（LCCDBN）3D堆叠记忆的层间接线拓扑，我们应用了一种分层无监督的预性学习方法来减轻接线和通过局部耦合CDBN的卷积的复杂性和卷积。所获得的LCCDBN与常规CDBN的性能与图像的特征提取器相同，并且还显示出对未学习图像数据集的传输学习是可能的。一篇概述了一系列结果的论文发表在非线性理论及其应用中（2018年）中。 （2）权重代码固定学习方法已经揭示了，即使禁止在深层神经网络中对每个突触连接重量的逆转来触发的约束，也可以学习与非信号约束的人相等的通用能力。以前，两个内存元素用于一个重量，并且手术对应于正符号和负符号。当应用此方法时，由于每个重量的学习过程中和学习后的代码始终与学习前的代码相同，因此一个元素可以代表一个重量，并且所需元素的数量减少了一半。在使用横杆结构完全耦合的模拟神经网络的情况下，由于记忆单元和接线的压缩，电路面积减少了1/4，并且预计功率会进一步降低。

项目成果

Structural exploration of stochastic neural networks for severely-constrained 3D memristive devices

严格约束的 3D 忆阻设备的随机神经网络的结构探索

• DOI: 10.1587/nolta.9.466
• 发表时间: 2018
• 期刊: Nonlinear Theory and Its Applications, IEICE
• 作者: Achararit P.;Hida I.;Marukame T.;Asai T.;and Hara-Azumi Y.
• 通讯作者: and Hara-Azumi Y.

On the Neuromorphic 3D Devices for Locally-Connected Convolutional Neural Network

局部连接卷积神经网络的神经形态 3D 设备

• 发表时间: 2018
• 作者: Paniti Achararit;Itaru Hida;Tetsuya Asai;and Yuko Hara-Azumi
• 通讯作者: and Yuko Hara-Azumi