強化学習の脳内機構

强化学习的脑机制

基本信息

批准号：
07243205
负责人：
中村清彦
金额：
$ 0.58万
依托单位：
The University of Electro-Communications
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1995
资助国家：
日本
起止时间：
1995 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-07243205/
关键词：
強化学習視床下部運動野神経回路試行錯誤報酬系

项目摘要

動物は試行錯誤によって未知の外界から報酬を得る方法を学習できる.この学習能力が実現されるためには次の2つの機能が必要である.(1)多様な試行を生成する機能.(2)試行の中から報酬に基づいて正しい行動を見出せる機能.本研究は,これらの機能がそれぞれ大脳皮質運動野-視床系と大脳新皮質-視床下部系の神経回路によって実現されているとする仮説を提示し,その妥当性を上記の系の神経回路モデルで検証した.まず,これらの系に関する神経生理学・解剖学データを収集しそれらに忠実な数理神経回路モデルを構築し,以下の結果を得た.(1)このモデルの計算機シミュレーションにより,運動系が生成可能な行動パタンのうちの90%以上を大脳皮質運動野-視床系の挙動が生成できることを示した.(2)上記の2つの系を統合した神経回路は試行錯誤の繰り返しによって感覚刺激に対応した報酬行動を採るようになることを上記の数理神経回路モデル上でいくつかの条件の下に解析的に証明した.(3)上記2つの系を統合した系の神経回路モデルのシミュレーションを行い証明結果を再現した.これはシミュレーションで用いた細胞数などの生理学解剖学データの基づく条件が(2)で導入した条件を満たしていることを示唆するものである.さらに,このシミュレーションは学習成立後の大脳皮質神経回路が数百ミリ秒で適切な行動を発現できる高速並列演算機構として働くことを示した.これらから,大脳新皮質-視床-視床下部系の神経回路が試行錯誤による学習機能を実現しているとする仮説の妥当性が示唆された.

动物可以通过反复试验来学习如何从世界外部获得奖励。为了根据试验的奖励找到正确的动作，这些功能是由脑皮质迁移率的神经电路，新的章鱼和下丘脑实现的。首先，收集与这些系统有关的神经物理学和解剖学数据，建立忠实的数学神经电路模型，并使用以下结果（1）该模型的模拟表明90％或更多的行为模式可以通过大脑皮层运动产生运动系统。在上面的数学神经电路模型上，已经对整合的系统进行了整合的神经回路，该奖励行为将通过重复试验和误差来使用。）对上述两个系统的神经电路模型进行了模拟，以重现（2）在（2）中引入的条件（2）基于生理解剖学数据的条件，例如仿真表明，该模拟表明，在学习后，脑部的皮质电路是一个高速平行的操作员，可以在几百毫秒内表达适当的行为。基于皮质瓶 - 基质丘脑的神经回路通过反复试验实现了学习功能。