長期記憶を導入したニューラルネットモデルの提案と動的環境におけるロバスト性の検証

提出一种结合长期记忆的神经网络模型并验证动态环境中的鲁棒性

基本信息

批准号：
14780285
负责人：
小澤誠一
金额：
$ 1.92万
依托单位：
Kobe University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2002
资助国家：
日本
起止时间：
2002 至 2003
项目状态：
已结题

项目摘要

ダイナミックに変化する環境の下では,過去に得た知識が常に有効であるとは限らず,環境に適応するため絶えず修正を要求される.しかし,同じ環境が将来において再び現れるようなケースでは,過去に獲得したすべての知識を修正するのは必ずしも効率的とはいえない.つまり,ある時点で通用しなくなった知識であっても,長期的な記憶として保存し,その知識が有用となる環境が再び現れたときに想起・利用できるようなメカニズムをもつことが望ましい.また,学習期間に終わりのないlife-long学習としての性質をもつには,知識を効率よくメモリに蓄積できなければならない.本研究では,上記のような機能を有するニューラルネットモデルを提案した.このモデルは,(1)入出力関係を学習するニューラルネット部,(2)ニューラルネット部で抽出された知識を蓄える連想バッファ,(3)連想バッファにある知識のうち必要なものを長期的に保持するための長期記憶,(4)環境の変動を検知する検知部の4つのモジュールで構成される.平成14年度において提案したモデルでは,ロバストな環境変動の検知を行うためのメカニズムと高速な環境への適用を実現するための連想メカニズムを開発し,この機能を実装した.複数の異なる一次元関数が順次移り変わっていく単純な動的環境の下で提案モデルの適応能力をシミュレーション実験で調べた.その結果,提案したモデルは環境変動を正確に検知し,過去に経験した環境の知識を活かして,高速に環境に追従できることを確認した.また,動的環境の下であっても追加学習を安定に行えることを示した.平成15年度では,移り変わっていく個々の環境に特有の知識と不変な知識を区別して,共有知識を抽出・利用する知識移転のメカニズムを付加した.シミュレーション実験を通して,この知識転移の機能が正しく機能し,さらに高速な環境適応が可能となることを確認した.

在动态变化的环境中，过去获得的知识并不总是有效，需要不断修改以适应环境，但是，在未来再次出现相同环境的情况下，修改所有获得的知识并不一定有效。换句话说，即使知识在某个时刻不再适用，也有必要将其存储在长期记忆中，并创造一种使知识变得有用的环境，以便在该知识时可以被回忆和使用。它再次出现。此外，为了使学习期具有永无止境的终身学习的性质，需要能够有效地将知识存储在记忆中，我们提出了一个模型，该模型由（1）神经网络部分组成，学习输入输出关系，（2）一个关联缓冲区，用于存储神经网络部分提取的知识，以及（3）一个神经网络，用于存储从关联缓冲区提取的知识，以保持事物的长期性。它由四个模块组成：（1）长期记忆，（4）检测环境变化的检测单元，我们开发了一种联想机制来实现的应用，并实现了该功能。该模型通过在简单的动态环境下进行模拟实验，其中多个不同的一维函数依次变化，从而修正了环境变化。我们确认，它可以利用过去经历的环境知识来准确地检测环境并高速跟踪环境。我们还表明，即使在动态环境中也可以稳定地进行附加学习。我们将关注每个人不断变化的环境。我们添加了一种知识转移机制，可以区分现有知识和不可变知识，并提取和使用共享知识。通过模拟实验，我们已经确认这种知识转移功能可以正确运行，并且可以实现更快的环境适应。