学習型スマート情報処理を実現する集積回路アーキテクチャの開拓

开发集成电路架构实现基于学习的智能信息处理

• 批准号: 18J10772
• 负责人: 肥田 格
• 金额: $ 1.22万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2020-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J10772/
• 关键词: 脳型情報処理; 機械学習; 深層学習; ニューラルネットワーク; アナログ電子回路; アーキテクチャ; 抵抗変化型メモリ; メモリスタ

メモリスタを用いた脳型情報処理回路の学習方法の開拓を試みた。メモリスタによるアナログ・ニューラルネットワーク演算回路の低電力深層学習回路への拡張を目指し、配線上の困難の克服や回路面積を従来の1/4に縮小するような、デバイス・アウェアな学習則を開発した。(1)Locally-connected Convolutional Deep Belief Network (LCCDBN)3次元積層されたメモリスタの層間配線トポロジを活用し、畳込みDeep Belief Network(CDBN)として利用するために、配線の複雑化を緩和する階層別教師なし事前学習法および局所的な結合による畳込みをCDBNに適用した。得られたLCCDBNは、画像に対する特徴抽出器として、従来のCDBNと同等の性能を獲得し、さらに未学習の画像データセットに対する転移学習も可能であることを示した。一連の結果をまとめた論文は、Nonlinear Theory and Its Applications (2018)に掲載された。(2)重み符号固定学習法深層ニューラルネットワークの各シナプス結合重みに対し、正負符号の反転が伴う学習を禁止する制約を課しても、符号非制約下の場合と同等の汎化能力を学習し得ることを明らかにした。従来は1個の重みに対し2個のメモリスタ素子を用いて、作動的に正負両方の符号に対応していた。本手法を適用した場合、各重みの学習中・学習後の符号は学習前の符号と常に同一であるため、1個の素子で1個の重みを表現することができ、必要素子数が半減される。クロスバー構造を利用した全結合型アナログ・ニューラルネットワークの場合では、メモリセルおよび配線の圧縮により回路面積が1/4に縮小され、さらなる低電力化が見込まれる。

我们尝试开发一种使用忆阻器的脑型信息处理电路的学习方法。为了将使用忆阻器的模拟神经网络计算电路扩展到低功耗深度学习电路，我们开发了设备感知学习规则，克服了布线困难，并将电路面积减少到传统电路的1/4。 (1)局部连接的卷积深度置信网络(LCCDBN)利用三维堆叠忆阻器的层间布线拓扑，降低布线的复杂度，用作卷积深度置信网络(CDBN)的无监督预学习方法，并与局部卷积组合应用于CDBN。所获得的 LCCDBN 作为图像特征提取器实现了与传统 CDBN 相当的性能，并且还表明迁移学习对于未经训练的图像数据集是可能的。总结一系列结果的论文发表在《非线性理论及其应用》（2018）上。 (2)权重符号固定学习方法即使对深度神经网络的每个突触连接权重施加限制，禁止涉及符号反转的学习，它也可以学习与无符号约束下相同的泛化能力。这是可以做到的。传统上，两个忆阻器元件用于一个权重，并且在操作上支持正号和负号。采用这种方法时，学习时和学习后每个权重的代码始终与学习前的代码相同，因此一个元素可以代表一个权重，从而将所需的元素数量减少了一半。在使用纵横结构的全连接模拟神经网络的情况下，通过压缩存储单元和布线，电路面积可以减少到四分之一，并且有望进一步节省功耗。

项目成果

Structural exploration of stochastic neural networks for severely-constrained 3D memristive devices

严格约束的 3D 忆阻设备的随机神经网络的结构探索

• DOI: 10.1587/nolta.9.466
• 发表时间: 2018
• 期刊: Nonlinear Theory and Its Applications, IEICE
• 作者: Achararit P.;Hida I.;Marukame T.;Asai T.;and Hara-Azumi Y.
• 通讯作者: and Hara-Azumi Y.

On the Neuromorphic 3D Devices for Locally-Connected Convolutional Neural Network

局部连接卷积神经网络的神经形态 3D 设备

• 发表时间: 2018
• 作者: Paniti Achararit;Itaru Hida;Tetsuya Asai;and Yuko Hara-Azumi
• 通讯作者: and Yuko Hara-Azumi