Development of the adaptive agent for homeostasis and analysis of its cognitive development

体内平衡自适应剂的开发及其认知发展分析

• 批准号: 22KJ0907
• 负责人: 吉田 尚人
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0907/
• 关键词: 恒常性; 強化学習; 機械学習; ロボティクス; 自律エージェント; 内受容感覚

行動が連続値ベクトルとして定義される四脚ロボット+２資源問題のシミュレーション実験環境を構築した．さらにロボットが身体の内部状態として体温をもつ環境を構築し，異なる2つの実験環境を使った手法の比較を可能とした．当初の目的通り規模の小さい実験系として餌を検出するレーザーセンサをロボット上部に仮定し，深層強化学習の手法であるProximal Policy Optimizationにより行動最適化を行った．これにより恒常性報酬を用いることで上述の2つの環境中でエージェントが生存を持続する行動（歩行・停止・体温制御・ナビゲーション・採餌制御）を創発することを確認した．またこのなかで，内受容感覚を特定の値に固定しても歩行を始めとするエージェントの身体運動は大きな影響を受けないことを発見した．恒常性を実現するとされる他の既存の報酬設定と，本研究で用いた計算神経科学由来の恒常性報酬との比較を上述の2つの環境で行った．これにより恒常性報酬が学習効率の点で優れていることが明らかになった．さらにこの点をReward Shapingの観点から数理的に考察し，恒常性報酬はより根源的な報酬設定に対して価値関数を妥当な形で初期化した場合に対応することを明らかにした．最適化したエージェントの行動解析のため，2種類の餌をエージェント近傍に設置し，上述の発見を利用してエージェントの内受容感覚を様々な値に固定することで栄養状態に応じたエージェントの採餌行動の変化を評価した．以上の知見をもとにレーザーセンサの代わりに画像を入力とするエージェントを畳み込みニューラルネットワークで構成し，RGB画像ならびにRGB-D画像の場合での恒常性エージェントの最適化に成功した．その他，恒常性強化学習に対して特異的に有効な神経ネットワーク構造を発見し全結合構造との性能比較を行った．

我们已经为四倍的机器人 + 2资源问题构建了一个模拟实验环境，其中动作被定义为连续值向量。此外，机器人创建了一个环境，其中将体温用作身体的内部状态，从而可以使用两个不同的实验环境比较方法。正如最初打算的那样，在机器人的顶部假定了一种检测食物的激光传感器作为一个小实验系统，并使用近端策略优化进行了行为优化，这是一种深入增强学习的方法。这证实，通过使用稳态奖励，代理可以产生在上述两个环境中维持生存的行为（步行，停止，温度控制，导航，觅食控制）。在本文中，我们发现，即使感知性感觉固定在特定的值中，也没有显着影响代理的物理运动，也不会受到显着影响。我们比较了其他现有的奖励环境，据说可以实现稳态的情况，这是在本研究中使用的稳态奖励，从计算神经科学中使用，在上面提到的两个环境中。这表明，稳态奖励在学习效率方面是优越的。此外，我们从奖励成型的角度从数学上进行了数学检查，并揭示了稳态奖励与以合理方式初始化价值函数以获得更基本的奖励设置相对应的。为了进行优化的药物行为分析，将两种类型的食物放在代理附近，并使用上述发现，我们通过在各种值下固定代理人的间断感，评估了响应营养状况的剂觅食行为的变化。基于上面的发现，使用卷积神经网络构建了使用图像作为输入而不是激光传感器的代理，并且成功地针对RGB和RGB-D图像成功地优化了稳态代理。此外，我们发现了针对体内平衡增强学习特别有效的神经网络结构，并将其性能与总结合结构进行了比较。

项目成果

Reproducing the macroscopic property of foraging behaviour using deep homeostatic reinforcement learning

使用深度稳态强化学习再现觅食行为的宏观特性

• 发表时间: 2022
• 作者: Naoto Yoshida;Yasuo Kuniyoshi
• 通讯作者: Yasuo Kuniyoshi