中脳ドーパミン系による、長期的な将来報酬の価値と予測誤差の表現機構の解明

阐明中脑多巴胺系统长期未来奖励值和预测误差的表达机制

基本信息

批准号：
08J02233
负责人：
榎本一紀
金额：
$ 0.58万
依托单位：
Kyoto Prefectural University of Medicine
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2008
资助国家：
日本
起止时间：
2008 至 2009
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-08J02233/
关键词：
ドーパミン報酬価値学習霊長類電気生理強化学習大脳基底核

项目摘要

本研究は、動物がゴールに向かって行動するうえで、学習や意志決定に関わっている大脳皮質-基底核回路において中心的な役割を担っているドーパミン系による報酬情報の表現が、複数回の将来報酬の価値を反映しているという仮説を明らかにすることを目的とする。ニホンザルを被験体として、報酬を得るために3つの選択肢から適切な行動を選択する、1ブロックが複数ステップの報酬獲得からなる課題を学習させ、課題遂行中のドーパミン細胞の活動を電気生理学手法を用いて記録した。3頭の動物から記録された185個のドーパミン細胞の活動と、同時に記録した行動データを解析に用いた。報酬である水が送出される口元のパイプへの舌なめ運動は、報酬確率が高いステップ同様、将来報酬の回数が多く期待されるステップにおいても長い持続時間を示し、動物が複数の将来報酬を期待して課題を行っていることが確かめられた。報酬期待情報を表現することが知られている、ステップ開始の合図である視覚刺激に対するドーパミン細胞の応答も複数回の報酬価値を反映し、報酬価値が高いほど高い発火頻度を示した。強化学習理論に基づいたシミュレーションの結果、将来報酬価値の割引率は、行動データから得られた値と細胞活動から得られた値とでほぼ同じであった。また、報酬予測誤差を反映することが知られている強化因子に対する応答も、複数回の報酬価値を含んだ予測誤差の値によって高い精度で推定できた。更に、課題の学習過程で記録した行動データと細胞活動を調べたところ、報酬割引率の値は学習初期で高く、後期で低かった。つまり、学習が進むにつれて、動物はより将来の報酬まで見込んで課題を行うようになり、細胞活動もそれに伴って調節されることが示唆された。以上の結果から、ドーパミン細胞は学習によって長期的な将来報酬価値と予測誤差の表現を獲得することが明らかになった。

这项研究表明，当动物朝着某个目标行动时，多巴胺系统会表达奖励信息，该系统在参与学习和决策的大脑皮层-基底神经节回路中发挥核心作用，目的是澄清这一假设它反映了未来补偿的价值。我们以日本猕猴为实验对象，学习一项任务，其中每个区块由多个步骤组成以获得奖励，它们必须从三个选项中选择合适的行为，并使用电生理技术来测量任务过程中多巴胺细胞的活动它是使用录制的。从三只动物记录的 185 个多巴胺细胞的活动以及同时记录的行为数据用于分析。舌头舔向口中输送水作为奖励的管道的运动表明，在预计未来会获得大量奖励的步骤中，以及在获得奖励概率较高的步骤中，动物可能会收到较长的持续时间确认学生们正在以很高的期望完成任务。多巴胺细胞对标志着一步开始的视觉刺激的反应，已知表达奖励期望信息，也反映了多个奖励值，奖励值越高，放电频率越高。基于强化学习理论的模拟结果显示，从行为数据获得的未来奖励值的贴现率与从细胞活动获得的未来奖励值的贴现率几乎相同。此外，对已知反映奖励预测误差的强化因子的响应可以使用包含多个奖励值的预测误差值来高精度估计。此外，当我们检查任务学习过程中记录的行为数据和细胞活动时，我们发现学习早期阶段的奖励折扣率较高，后期阶段的奖励折扣率较低。换句话说，随着学习的进展，动物开始执行任务以期待未来的奖励，这表明细胞活动受到相应的调节。这些结果表明，多巴胺细胞通过学习获得未来奖励价值和预测误差的长期表征。