ニューラルネットワーク連想メモリの追加学習に関する研究

神经网络联想记忆的加性学习研究

基本信息

批准号：
10780223
负责人：
服部元信
金额：
$ 1.02万
依托单位：
University of Yamanashi
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1998
资助国家：
日本
起止时间：
1998 至 1999
项目状态：
已结题

项目摘要

連想メモリを含む多くのニューラルネットワークは、情報をニューロン間の重みに分散して記憶するため、一旦学習が終了した後に新規な情報のみを記憶させようとすると、それまでに記憶した情報に破局的な忘却をもたらす。すなわち、追加学習が極めて因難であるという問題がある。本研究では、追加学習を可能とする連想メモリの構築を目的としている。昨年度までの研究では、入力層からマップ層への重みの学習に改良を加えた、連想メモリとして動作可能な自己組織化特徴マップに、シナプス硬直条件およびシナプス半硬直条件を導入することで、追加学習が可能な連想メモリの構築を行った。しかし、本モデルでは入力データ間の類似関係をマップ上に保存しにくいことが明らかになっている。開発した連想メモリは、新規な情報によって過去の記憶が破壊されることがないため、長期記憶のモデルとみなすことができる。今年度の研究では、これに短期記憶に相当する小容量のバッファを付加し、そこに蓄えたデータを用いてマップの再構築を行う方法を開発した。具体的には、新規な情報と類似した既記憶情報をネットワークの重みから取り出してバッファに一時的に格納し、新規情報とともに学習を行う。これにより、マップの小領域に入力データの類似関係が精度良く写像される。これを新規な情報が与えられる度に繰り返すことにより、マップ全体が入力データの類似関係を反映することができる。さらに、本モデルで1対多や多対多の連想が扱えることを確認するとともに、マップ上のニューロンの内部状態が過去の発火履歴を含むようにニューロンモデルを変更し、時系列情報を取り扱えるようにモデルに改良を加えた。

许多神经网络，包括联想记忆，通过将信息分散在神经元之间的权重中来存储信息，因此，如果您尝试在学习完成后仅存储新信息，则会灾难性地影响您迄今为止所记住的信息，从而导致健忘。。换句话说，存在额外学习极其困难的问题。这项研究旨在构建一种能够进行额外学习的联想记忆。在去年的研究中，我们将突触刚性条件和突触半刚性条件添加到自组织特征图中，该特征图可以通过改进从输入层到图层的权重学习来充当关联存储器。允许学习的联想记忆。然而，很明显，该模型难以保留地图上输入数据之间的相似关系。发达的联想记忆可以被认为是长期记忆的模型，因为新信息不会破坏过去的记忆。在今年的研究中，我们为此添加了相当于短期记忆的小型缓冲区，并开发了一种使用存储在那里的数据重建地图的方法。具体地，从网络权重中提取先前存储的与新信息类似的信息，暂时存储在缓冲器中，并与新信息一起学习。从而将输入数据的相似关系高精度地映射到地图的小区域上。通过每次提供新信息时重复此操作，整个地图可以反映输入数据的相似性。此外，我们确认该模型可以处理一对多和多对多关联，并修改了神经元模型，使得图上神经元的内部状态包括过去的放电历史，从而可以处理时间序列信息进行了改进。