シストリックアレイによる学習機能付き多層ニューラルネットワーク

使用脉动阵列的具有学习功能的多层神经网络

基本信息

批准号：
06780276
负责人：
肥川宏臣
金额：
$ 0.58万
依托单位：
Oita University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1994
资助国家：
日本
起止时间：
1994 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-06780276/
关键词：
ニューラルネットワークバックプロパゲーション FPGA VLSI

项目摘要

学習機能付き多層ニューラルネットワークのハードウェア化に関する研究を行った。多数の積和演算を行うニューラルネットのハードウェア実装では、乗算回路により、回路規模が大きくなってしまうという問題点がある。本研究では、乗算回路を用いない、多層ニューラルネットワークとバックプロパゲーションを改良した学習アルゴリズムを提案し、計算機シミュレーション、および実験によりその有効性を確認している。乗算を行わないように次のような簡単化を行った。出力関数として、シグモイド関数の代わりに3値関数を用いることで、乗算を1ビットのシフトと論理積で実現できるようにし、加算もシリアル加算器による小型化を行っている。学習アルゴリズムとしては、バックプロパゲーションを用いる。パルス信号で学習誤差を表すことにより、乗算回路を用いずに、簡単な回路で学習機能を実現している。提案するニューラルネットワークの有効性を確認するために、再構成可能な論理素子であるField Programmable Gate Array(FPGA)を用いたFPGAアレイに提案するネットワークを実装し、機能の動作確認を行った。実験回路は、12ビットの精度で13個の接続数を持ち、32MHzのクロックで動作する。これは、14.9×10^6CPS(connections per second)に相当し、11.8×10^6CUPS(Connection updates per second)の学習速度に相当する。ネットワークは並列に動作するため、これらの数値はネットワークの規模に比例して大きくなる。より大きなシステムにも本研究で提案するネットワークが応用できることを示すために、文字認識のアプリケーションを行うネットワークの動作を計算機シミュレーションにより調べた。その結果、大きなアプリケーションに対しても、本研究で提案するニューラルネットワークで対応できることを確認した。提案するネットワークは、VLSI化も容易で、大容量のネットワークが期待できる。

我们对具有学习功能的多层神经网络的硬件实现进行了研究。在执行大量乘积和运算的神经网络的硬件实现中，存在由于乘法电路而导致电路规模变大的问题。在这项研究中，我们提出了一种在不使用乘法电路的情况下改进多层神经网络和反向传播的学习算法，并通过计算机模拟和实验证实了其有效性。为了避免相乘，进行了以下简化。通过使用三元函数代替 sigmoid 函数作为输出函数，可以通过 1 位移位和 AND 来完成乘法，并且使用串行加法器也可以小型化加法。使用反向传播作为学习算法。通过用脉冲信号表示学习误差，无需使用乘法电路，用简单的电路即可实现学习功能。为了确认所提出的神经网络的有效性，我们使用现场可编程门阵列（FPGA）（一种可重构逻辑元件）在FPGA阵列上实现了所提出的网络，并确认了其功能操作。实验电路有13个连接，精度为12位，时钟频率为32MHz。这对应于 14.9×10^6CPS（每秒连接数）和 11.8×10^6CUPS（每秒连接更新数）的学习速度。由于网络是并行运行的，因此这些数字与网络规模成比例增长。为了证明本研究中提出的网络可以应用于更大的系统，我们研究了使用计算机模拟执行字符识别应用程序的网络的操作。结果，我们证实本研究中提出的神经网络甚至可以处理大型应用。所提出的网络可以很容易地转换为VLSI，并且可以预期一个大容量的网络。