未知の協調・環境を想定したマルチエージェント強化学習の知識転移

假设未知合作/环境的多智能体强化学习的知识转移

• 批准号: 21K17807
• 负责人: 上野 史
• 金额: $ 3万
• 依托单位: Okayama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17807/
• 关键词: 強化学習; マルチエージェントシステム; 知識転移; 未知環境; ニューラルネットワーク; 知識; 強化学習; マルチエージェントシステム; 知識転移; 未知環境; ニューラルネットワーク; 知識

本年度は，マルチエージェント強化学習の未知の協調，未知の環境への適応に向けた，(1)学習結果のモジュール化，(2)知識モジュールに基づく未知の協調行動学習法の提案，(3)未知環境を想定した知識の再構成法の提案の内，主にテーマ(2)および(3)に向けた調査を実施した．具体的には，知識モジュールの抽出として，深層強化学習A3Cをベースとして，獲得報酬の変化をパラメトリックな分布を構成し，報酬を獲得した目的ごとの分布を比較することで他エージェントの目的を抽出し，それぞれの目的に合わせて協調行動を学習する手法を提案した．また，ロボットナビゲーションのシミュレーション実験により手法の有効性を検証した．本提案手法は，未知の環境や不測の事態でエージェントの取るべき協調行動が不明の時に，学習結果から知識として切り出した互いの目的を組み合わせて適切な目的を達成する協調行動が学習可能である点で画期的成果となった．また，知識モジュールの組み合わせに関して，エージェントの固有の状態を抽出し連結することで新たな知識を生成し，その知識を学習により環境に対して最適にする手法を提案し，前述のナビゲーション実験によりその有効性を示した．これにより，知識モジュールの連結方法を変えることで環境に合わせた知識の再構成が可能であることが確認できた．本成果は，知識モジュールを抽出した際にそれを組み合わせることによる効果を実証できた点において重要である．なお，本成果は国際会議ICAART 2023および国内学会人工知能学会全国大会等において発表している．

今年，我们进行了研究，主要关注（2）（1）学习结果模块化的主题（2）和（3），（2）提出了一种基于知识模块的未知协作行为学习方法，（3）提出了一种基于多代理强化学习中未知环境的知识的方法。具体而言，我们提出了一种基于深度强化学习A3C，构建奖励变化的参数分布，比较每个目标的分布，以赢得奖励，提取其他代理商的目标并根据每个目标学习合作行为的每个目标的分布。此外，通过机器人导航的仿真实验验证了该方法的有效性。这项提出的方法是一项开创性的成就，因为当代理商应采取的协调行动在未知的环境或意外情况下未知时，可以学习合作行动，将彼此的目标与学习结果相结合以实现适当的目的。此外，关于知识模块的组合，我们提出了一种方法，其中通过提取和联系唯一的代理状态并通过学习来优化环境知识来产生新知识，并通过上述导航实验证明了其有效性。这证实了通过更改链接知识模块的方法，可以根据环境重建知识。该结果很重要，因为可以证明在提取并组合知识模块时结合知识模块的效果。结果已在国际伊卡特2023年国际会议和人工智能学会全国会议上提出。