計算論と実験検証の統合による皮質・基低屋ループにおける実時間機構

结合计算理论和实验验证的皮质和基底环路实时机制

• 批准号: 17021057
• 负责人: 鮫島 和行
• 金额: $ 1.79万
• 依托单位: Tamagawa University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-17021057/
• 关键词: 大脳基底核; 強化学習; 線条体; 意思決定; 細胞外電気記録; 行動価値; 脳の計算論的モデル; サル

沖縄大学院大学・銅谷賢治氏、京都府立医科大学・上田康雅助手、木村實教授と共同で、選択肢ごとのメリットを表現する神経細胞が大脳基底核・線条体にあることを発見した。行動を選択するとき、過去に経験した行動と結果により各行動のメリット(行動価値)を学習し、それを比較しながら選択を行っている。このような報酬の経験による行動価値の学習と意思決定の脳内プロセスを調べるために、自由に行動を選択する課題を学習中のサルの線条体から細胞外電気記録を行った。サルがスティックを左または右に倒す行動の選択肢からいずれかを自由に選ぶと1割、5割、または9割の確率で報酬が得られる。何十回かの試行錯誤の後、左倒しが右倒しよりも報酬確率が高ければ、サルは次第に左倒しを選ぶようになった。スティックを倒す前の1秒間の線条体の神経細胞の活動を調べると、ある細胞は左倒しに対する報酬の確率を1割から9割に増やすにつれて応答が強くなった。一方、左倒しに対する報酬の確率を5割に固定したまま、右倒しに対する報酬を変化させると、行動は左倒しから右倒しに変化するにもかかわらず、神経細胞の活動の強さは変化しなかった。つまり、この神経細胞の行動前の活動は左倒しに対する行動価値を表現している。報酬や失敗の経験から、行動価値を学習し、それを元に行動を確率的に選択するプロセスは「強化学習」と呼ばれる理論によって定式化できる。この理論での学習式の解をサルの行動と報酬の経験から求めることで、サルの次の行動を予測することができた。さらに、線条体の神経活動は、強化学習の学習式で求められるそれぞれの「行動価値」に対応する変数と相関していることが明らかになった。以上の結果は、報酬や失敗を通して複数の選択肢から価値の高い行動を選択するプロセスに、大脳基底核の線条体の神経細胞が深く関わっていることを示唆している。

在与冲绳大学的Totani Kenji先生合作，京都院子医科大学的助理教授Ueda Yasumasa和Kimura Minoru教授，我们发现表达每种选择好处的神经细胞位于基底神经节和纹状体中。选择动作时，根据过去所经历的动作和结果来学习每个动作的好处（行动价值），并且在比较它们时做出了选择。为了通过此类奖励经验研究行为价值学习和决策的大脑过程，从猴子学习任务的纹状体进行了细胞外电子记录以自由选择其行为。如果猴子自由选择将棍棒左或右旋转的选择之一，则有10％，50％或90％的机会获得奖励。经过数十次反复试验，如果左手小费的奖励机会比右手小费更高，那么猴子逐渐开始选择左撇子小费。当检查纹状体神经细胞的活性一秒钟，然后再击倒棍子时，一些细胞的反应越来越强，因为奖励左倾的可能性从10％增加到90％。另一方面，当更改左倾的奖励而左倾的奖励的可能性为50％时，尽管行为从左倾变为右侧倾斜，神经元活动的强度并没有改变。换句话说，该神经元的前表演活动表达了对左倾的作用价值。从奖励的经验，失败和基于这些行动的随机选择中学习行为价值的过程可以由称为“强化学习”的理论提出。通过从猴子的行为和奖励的经验中探索该理论中学习方程式的解决方案，我们能够预测下一个猴子的行为。此外，据揭示了纹状体中的神经活动与对应于强化学习的学习公式所需的每个“动作值”的变量相关。以上结果表明，基底神经节中的神经元深深地参与了通过奖励和失败从多种选择中选择有价值行为的过程。