不確実な環境における制度と心の共進化：資源分配とリスク回避の理論・実証的検討

不确定环境中制度与思想的共同演化：资源配置与风险规避的理论与实证检验

• 批准号: 22KJ0056
• 负责人: 本間 祥吾
• 金额: $ 1.09万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0056/
• 关键词: 強化学習; 学習率; 報酬予測誤差; リスク選好; 変動性; 進化シミュレーション

本研究の目的は、不確実な環境における、資源の共有分配制度とそれを支える個人のリスク回避傾向の共進化を理論的に解明することである。本研究は、リスク回避あるいはリスク追求行動を生み出すメカニズムとして、強化学習と予期せぬ報酬・損失に対する感受性パラメータ（それぞれ正の学習率・負の学習率）に着目している。これまで実施した研究では、複数の異なるリスク状況下で適応的な意思決定を可能とする学習率を進化シミュレーションによって検討してきた。結果として、負の学習率が減少し、正の学習率が負の学習率より大きい状態が進化することが見出された。また、進化の結果、個体は置かれたリスク状況に応じて、適応的なリスク回避行動あるいはリスク追求行動を選択できるようになり、期待値の等しい課題ではプロスペクト理論的な行動傾向を示すことが見出された。しかし、これは限られた課題構造でしか検討されていなかった。そのため、本年度では、結果の頑健性を確認するため、一定の手順でランダムに課題を生成し、より広範囲な課題でシミュレーションを行った。その結果、これまでと同様の結果が得られた。これらの結果は、リスク選好を進化適応的な学習メカニズムの産物として理解できることを示唆している。さらに、本年度では、リスクに加えて変動性（期待値の変化）も存在する環境における強化学習のシミュレーションを行った。リスク回避行動が適応的な状態とリスク追求行動が適応的な状態が確率的に入れ替わる環境変動を導入し、強化学習個体の学習率がどのように進化するかを検討した。その結果、複数のリスク状況下における学習率の進化と類似した進化パターンが見出された。これは、リスク状況に適応した学習メカニズムによって、変動性に対しても十分対応できる可能性を示唆している。

这项研究的目的是理论上阐明资源共享分布系统的共同发展以及在不确定环境中支持它们的个人之间的风险规避趋势。这项研究的重点是增强学习和敏感性参数，以指出意外的奖励和损失（分别学习率和负面学习率），作为产生风险规避或风险追求行为的机制。先前的研究检查了学习率，通过进化模拟在多种不同的风险情况下实现自适应决策。结果，发现负面学习率降低了，并指出积极学习率大于负学习率的情况。此外，由于进化的结果，个人能够根据自己所处的风险情况选择适应性风险或风险追求行为，并且已经发现，在具有同样期望的任务中，他们表现出前景的理论行为倾向。但是，这仅是由于一组挑战有限的考虑。因此，在今年，为了确认结果的鲁棒性，我们使用一定过程随机生成任务，并在更广泛的任务范围内模拟它们。结果，与以前一样获得相同的结果。这些结果表明，风险食欲可以被理解为进化自适应学习机制的产物。此外，今年我们在一个环境中模拟了增强学习，除了风险外，还存在可变性（预期值的变化）。我们调查了强化学习个人的学习率是如何通过引入环境波动而演变的，在这种环境波动中，自适应风险厌恶行为的状态和适应性风险追求行为的状态被概率地交换。结果，在多种风险情况下发现了与学习率的演变相似的进化模式。这表明适合风险情况的学习机制可以充分解决可变性。