ニューラルネットワーク連想メモリの追加学習に関する研究

神经网络联想记忆的加性学习研究

基本信息

批准号：
10780223
负责人：
服部元信
金额：
$ 1.02万
依托单位：
University of Yamanashi
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1998
资助国家：
日本
起止时间：
1998 至 1999
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-10780223/
关键词：
連想メモリ追加学習自己組織化特徴マップシナプス硬直条件シナプス半硬直条件マップの再構築多対多時系列情報

連想メモリ追加学習自己組織化特徴マップシナプス硬直条件シナプス半硬直条件マップの再構築多対多時系列情報

项目摘要

連想メモリを含む多くのニューラルネットワークは、情報をニューロン間の重みに分散して記憶するため、一旦学習が終了した後に新規な情報のみを記憶させようとすると、それまでに記憶した情報に破局的な忘却をもたらす。すなわち、追加学習が極めて因難であるという問題がある。本研究では、追加学習を可能とする連想メモリの構築を目的としている。昨年度までの研究では、入力層からマップ層への重みの学習に改良を加えた、連想メモリとして動作可能な自己組織化特徴マップに、シナプス硬直条件およびシナプス半硬直条件を導入することで、追加学習が可能な連想メモリの構築を行った。しかし、本モデルでは入力データ間の類似関係をマップ上に保存しにくいことが明らかになっている。開発した連想メモリは、新規な情報によって過去の記憶が破壊されることがないため、長期記憶のモデルとみなすことができる。今年度の研究では、これに短期記憶に相当する小容量のバッファを付加し、そこに蓄えたデータを用いてマップの再構築を行う方法を開発した。具体的には、新規な情報と類似した既記憶情報をネットワークの重みから取り出してバッファに一時的に格納し、新規情報とともに学習を行う。これにより、マップの小領域に入力データの類似関係が精度良く写像される。これを新規な情報が与えられる度に繰り返すことにより、マップ全体が入力データの類似関係を反映することができる。さらに、本モデルで1対多や多対多の連想が扱えることを確認するとともに、マップ上のニューロンの内部状態が過去の発火履歴を含むようにニューロンモデルを変更し、時系列情報を取り扱えるようにモデルに改良を加えた。

许多神经网络，包括关联记忆，以分布式的方式存储在神经元之间的权重之间的信息，因此一旦学习完成，只需尝试存储新信息，从而导致灾难性忘记忘记了先前存储的信息。换句话说，有一个问题是额外的学习极为困难。这项研究旨在构建能够进行更多学习的关联记忆。直到去年，研究创造了一个关联记忆，该记忆通过将突触刚度和突触半歧义条件引入自组织的特征图中，可以作为一个联想记忆工作，从而改善了从输入层到地图层的重量学习，从而可以进行更多的学习。但是，已经揭示了很难在该模型中地图上的输入数据之间存储相似的关系。开发的关联内存可以视为长期内存的模型，因为它不会由于新信息而破坏过去的记忆。今年的研究开发了一种方法，可以添加与此相当于短期内存的小缓冲区，并使用存储在此处的数据重建地图。具体而言，以前存储的信息类似于新信息，可以从网络的权重中提取并临时存储在缓冲区中，并将新信息与新信息一起研究。这允许将输入数据之间的相似性关系准确地映射到地图的一小区域。每当给出新信息时重复此信息，整个地图都可以反映输入数据之间的相似性关系。此外，我们确认该模型可以处理一对一多型和多一的关联，并且还更改了神经元模型，以便地图上的神经元的内部状态包括过去的射击历史记录并改进了模型，以便可以处理时间序列信息。