Development of inverse reinforcement learning focusing on the multiobjective nature of humans and autonomous systems: towards zero risk and comfort maximization.

逆向强化学习的发展侧重于人类和自主系统的多目标性质：实现零风险和舒适度最大化。

• 批准号: 22H03665
• 负责人: 荒井 幸代
• 金额: $ 8.32万
• 依托单位: Chiba University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03665/
• 关键词: 自律システム; マルチエージェント学習; ロバスト制御; 認知モデル; 意図推定; 自律制御と強化学習; 強化学習の実用化; 報酬のスパース性; 暗黙知の形式化; 人と人工物の調和; 価値推定; システムの頑健性; システムへの信頼性

本課題は，近い将来，人間の行動範囲に共存する自律機械のうち，ドローン，自動車，鉄道の自律制御るに対す機械学習の導入への信頼（安全性と安心）を担保することを目的としている．今年度は，上記目的に沿った適用可能な機械学習のアルゴリズムの検討と改善，および，学習によって獲得した制御則に基づいた運行（飛行，走行を総じて運行と呼ぶ）軌跡から，制御則の目的関数を推定する方法を検討し，簡易なベンチマークを用いて，方法の妥当性を検証した．ドローンは，既に実用が進む海外の状況から，複数台の飛行状況における協調と競合を想定して，衝突回避しながら，効率よく目的タスクの遂行を実施する深層強化学習アルゴリズムを提案し，計算機シミュレーション実験において良好な結果を得た．鉄道の運行については，定時運行の大前提の下で，鉄道運行における喫緊の課題である省エネルギー運転制御を実現する方法を，二段階最適化問題として定式化した方法のプロトタイプを作成し，従来の方法よりも有意に優れた性能を示すことを確認した．以上は，機械学習によって得られた制御方法によって，タスクの最適性の向上可能性を示唆する成果であるが，併せて，これらの動きに対する，人（設計者や，共存する人々）の反応を検証することも本課題の重要なエッセンスである．これについては，まず，設計者の理解を促す方法として，学習後の制御入力と出力の対応関係を統計的に分析し，入力次元に関して「アテンション」（機械が着目した重要な“特徴”）を抽出することによって，出力との因果関係を導出する方法を検討し，理解の妥当性を評価した．これによって，学習結果のフィルタ効果を確認しており，副次的な効果として，2023年度の研究計画に盛り込む予定である．理解や説明を促すための方法が，学習による制御の冗長な部分や，これまで不可避であった，確率的な挙動解消に対しての有効性が期待できる．

本期的目的是确保在不久的将来将在人类活动范围内共存的自主机器中引入用于无人机、汽车和铁路自主控制的机器学习的信任（安全和安保）。有。本财年，我们将按照上述目标，研究和完善适用的机器学习算法，并根据通过学习获得的控制规律，检验基于运行轨迹（飞行和跑步统称为运行）的控制规律的目标。我们研究了一种估计函数的方法，并使用简单的基准验证了该方法的有效性。考虑到无人机在国外已经投入实际使用的情况，我们提出了一种深度强化学习算法，在避免碰撞、假设多种飞行情况下的合作和竞争的情况下高效执行目标任务，并进行了计算机模拟，获得了良好的结果。在实验中。针对铁路运营，我们创建了一个原型方法，将其制定为两步优化问题，以在准点运营的大前提下实现节能运营控制，这是铁路运营中迫切需要解决的问题。所提出的方法显示出比所提出的方法明显更好的性能。上述结果表明，通过机器学习获得的控制方法可以提高任务的最优性，但考虑人（设计师和共存的人）对这些动作的反应也很重要，验证也是该项目的重要本质。首先，作为鼓励设计者理解的一种方式，我们在学习后统计分析控制输入和输出之间的对应关系，并计算关于输入维度的“注意力”（机器关注的重要“特征”）。通过提取输出来导出与输出的因果关系，并评估理解的有效性。通过此，我们确认了学习成果的过滤效果，并计划将其作为次要效果纳入2023年的研究计划中。鼓励理解和解释的方法有望有效地通过学习消除多余的控制部分，并解决迄今为止不可避免的随机行为。

项目成果

深層強化学習を用いた自動運転の制御限界の検出

使用深度强化学习检测自动驾驶的控制极限

• 发表时间: 2022
• 作者: 岸川 大航;荒井 幸代;今村麟太郎，荒井幸代
• 通讯作者: 今村麟太郎，荒井幸代

Multi-objective deep inverse reinforcement learning for weight estimation of objectives

用于目标权重估计的多目标深度逆强化学习

• DOI: 10.1007/s10015-022-00773-8
• 发表时间: 2022
• 期刊: Artificial Life and Robotics
• 影响因子: 0.9
• 作者: Takayama Naoya;Arai Sachiyo
• 通讯作者: Arai Sachiyo

Reward Matrix Decomposition for Multi-Objective Inverse Reinforcement Learning

多目标逆强化学习的奖励矩阵分解

• DOI: 10.11517/pjsai.jsai2022.0_4e1gs205
• 发表时间: 2022
• 期刊: Proceedings of the Annual Conference of JSAI
• 作者: 岸川 大航;荒井 幸代
• 通讯作者: 荒井 幸代

強化学習とモデル予測制御を用いた UAV の自律的バッテリー管理による飛行経路最適化

使用强化学习和模型预测控制进行无人机自主电池管理的飞行路径优化

• 发表时间: 2022
• 作者: 岸川 大航;荒井 幸代;今村麟太郎，荒井幸代;堀江直人，荒井幸代
• 通讯作者: 堀江直人，荒井幸代