Development of the adaptive agent for homeostasis and analysis of its cognitive development

体内平衡自适应剂的开发及其认知发展分析

• 批准号: 22KJ0907
• 负责人: 吉田 尚人
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0907/
• 关键词: 恒常性; 強化学習; 機械学習; ロボティクス; 自律エージェント; 内受容感覚

行動が連続値ベクトルとして定義される四脚ロボット+２資源問題のシミュレーション実験環境を構築した．さらにロボットが身体の内部状態として体温をもつ環境を構築し，異なる2つの実験環境を使った手法の比較を可能とした．当初の目的通り規模の小さい実験系として餌を検出するレーザーセンサをロボット上部に仮定し，深層強化学習の手法であるProximal Policy Optimizationにより行動最適化を行った．これにより恒常性報酬を用いることで上述の2つの環境中でエージェントが生存を持続する行動（歩行・停止・体温制御・ナビゲーション・採餌制御）を創発することを確認した．またこのなかで，内受容感覚を特定の値に固定しても歩行を始めとするエージェントの身体運動は大きな影響を受けないことを発見した．恒常性を実現するとされる他の既存の報酬設定と，本研究で用いた計算神経科学由来の恒常性報酬との比較を上述の2つの環境で行った．これにより恒常性報酬が学習効率の点で優れていることが明らかになった．さらにこの点をReward Shapingの観点から数理的に考察し，恒常性報酬はより根源的な報酬設定に対して価値関数を妥当な形で初期化した場合に対応することを明らかにした．最適化したエージェントの行動解析のため，2種類の餌をエージェント近傍に設置し，上述の発見を利用してエージェントの内受容感覚を様々な値に固定することで栄養状態に応じたエージェントの採餌行動の変化を評価した．以上の知見をもとにレーザーセンサの代わりに画像を入力とするエージェントを畳み込みニューラルネットワークで構成し，RGB画像ならびにRGB-D画像の場合での恒常性エージェントの最適化に成功した．その他，恒常性強化学習に対して特異的に有効な神経ネットワーク構造を発見し全結合構造との性能比較を行った．

我们构建了一个四足机器人+2资源问题的仿真实验环境，其行为被定义为连续值向量。此外，我们创建了一个机器人以体温作为其内部状态的环境，使得可以比较使用两种不同实验环境的方法。正如最初的预期，我们假设机器人顶部有一个激光传感器来检测食物作为一个小规模的实验系统，并使用近端策略优化（一种深度强化学习方法）优化其行为。结果，我们确认，通过使用稳态奖励，智能体可以产生维持智能体在上述两种环境中生存的行为（行走、停止、体温控制、导航和觅食控制）。此外，我们发现，即使内感受被固定在特定值，智能体的身体运动（包括行走）也不会受到显着影响。我们将其他被认为可以实现稳态的现有奖励设置与本研究在上述两种环境中使用的计算神经科学得出的稳态奖励进行了比较。这表明，就学习效率而言，构成性奖励更为优越。此外，我们从奖励塑造的角度在数学上考虑了这一点，并阐明了恒定性奖励对应于价值函数以合理的形式初始化以进行更基本的奖励设置的情况。为了分析优化后代理的行为，我们在代理附近放置了两种类型的诱饵，并利用上述发现将代理的内感受感觉固定在不同的值，从而使我们能够根据代理的营养状况来招募代理。评估喂养行为的变化。基于上述知识，我们使用卷积神经网络构建了一个以图像而不是激光传感器作为输入的代理，并成功优化了 RGB 和 RGB-D 图像的稳态代理。此外，我们发现了一种对稳态强化学习特别有效的神经网络结构，并将其性能与全连接结构进行了比较。

项目成果

Reproducing the macroscopic property of foraging behaviour using deep homeostatic reinforcement learning

使用深度稳态强化学习再现觅食行为的宏观特性

• 发表时间: 2022
• 作者: Naoto Yoshida;Yasuo Kuniyoshi
• 通讯作者: Yasuo Kuniyoshi