Development of inverse reinforcement learning focusing on the multiobjective nature of humans and autonomous systems: towards zero risk and comfort maximization.

逆向强化学习的发展侧重于人类和自主系统的多目标性质：实现零风险和舒适度最大化。

• 批准号: 22H03665
• 负责人: 荒井 幸代
• 金额: $ 8.32万
• 依托单位: Chiba University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03665/
• 关键词: 自律システム; マルチエージェント学習; ロバスト制御; 認知モデル; 意図推定; 自律制御と強化学習; 強化学習の実用化; 報酬のスパース性; 暗黙知の形式化; 人と人工物の調和; 価値推定; システムの頑健性; システムへの信頼性

本課題は，近い将来，人間の行動範囲に共存する自律機械のうち，ドローン，自動車，鉄道の自律制御るに対す機械学習の導入への信頼（安全性と安心）を担保することを目的としている．今年度は，上記目的に沿った適用可能な機械学習のアルゴリズムの検討と改善，および，学習によって獲得した制御則に基づいた運行（飛行，走行を総じて運行と呼ぶ）軌跡から，制御則の目的関数を推定する方法を検討し，簡易なベンチマークを用いて，方法の妥当性を検証した．ドローンは，既に実用が進む海外の状況から，複数台の飛行状況における協調と競合を想定して，衝突回避しながら，効率よく目的タスクの遂行を実施する深層強化学習アルゴリズムを提案し，計算機シミュレーション実験において良好な結果を得た．鉄道の運行については，定時運行の大前提の下で，鉄道運行における喫緊の課題である省エネルギー運転制御を実現する方法を，二段階最適化問題として定式化した方法のプロトタイプを作成し，従来の方法よりも有意に優れた性能を示すことを確認した．以上は，機械学習によって得られた制御方法によって，タスクの最適性の向上可能性を示唆する成果であるが，併せて，これらの動きに対する，人（設計者や，共存する人々）の反応を検証することも本課題の重要なエッセンスである．これについては，まず，設計者の理解を促す方法として，学習後の制御入力と出力の対応関係を統計的に分析し，入力次元に関して「アテンション」（機械が着目した重要な“特徴”）を抽出することによって，出力との因果関係を導出する方法を検討し，理解の妥当性を評価した．これによって，学習結果のフィルタ効果を確認しており，副次的な効果として，2023年度の研究計画に盛り込む予定である．理解や説明を促すための方法が，学習による制御の冗長な部分や，これまで不可避であった，確率的な挙動解消に対しての有効性が期待できる．

此问题旨在确保引入机器学习以自主控制无人机，汽车和铁路的信心（安全和保障）之间，这些机器将在不久的将来在人类活动范围内共存。今年，我们根据上述目标研究并改进了适用的机器学习算法，并检查了一种基于通过学习获得的控制规则（通常将飞行和驾驶称为操作）估算轨迹的控制法律的客观功能的方法，并使用简单的基础标记验证了该方法的有效性。无人机已经在海外实际使用，并提出了一种深入的强化学习算法，该算法在避免碰撞的同时有效地执行目标任务，假设在多辆车的飞行情况下进行合作和竞争，并在计算机模拟实验中获得了良好的结果。关于铁路运营，我们创建了一种方法的原型，该方法是根据常规操作的基本前提来制定的两阶段优化问题，这是铁路操作的紧迫问题，并确认它的性能要比传统方法更好。以上结果表明，通过机器学习获得的控制方法可以改善任务的最佳性，但此任务的重要本质是检查人们（设计师和共存人）对这些运动的反应。在这方面，我们首先研究了一种通过统计分析控制输入和输出之间的对应关系，并提取“注意力”（重要的“特征”集中在输入维度上），从而导致与输出的因果关系，并评估理解有效性。这证实了学习结果的过滤效果，作为次要效应，它计划包括在2023年的研究计划中。可以期望鼓励理解和解释的方法有效地通过学习和解决迄今为止一直不可避免的概率行为来限制控制。

项目成果

深層強化学習を用いた自動運転の制御限界の検出

使用深度强化学习检测自动驾驶的控制极限

• 发表时间: 2022
• 作者: 岸川 大航;荒井 幸代;今村麟太郎，荒井幸代
• 通讯作者: 今村麟太郎，荒井幸代

Reward Matrix Decomposition for Multi-Objective Inverse Reinforcement Learning

多目标逆强化学习的奖励矩阵分解

• DOI: 10.11517/pjsai.jsai2022.0_4e1gs205
• 发表时间: 2022
• 期刊: Proceedings of the Annual Conference of JSAI
• 作者: 岸川 大航;荒井 幸代
• 通讯作者: 荒井 幸代

Multi-objective deep inverse reinforcement learning for weight estimation of objectives

用于目标权重估计的多目标深度逆强化学习

• DOI: 10.1007/s10015-022-00773-8
• 发表时间: 2022
• 期刊: Artificial Life and Robotics
• 影响因子: 0.9
• 作者: Takayama Naoya;Arai Sachiyo
• 通讯作者: Arai Sachiyo

強化学習とモデル予測制御を用いた UAV の自律的バッテリー管理による飛行経路最適化

使用强化学习和模型预测控制进行无人机自主电池管理的飞行路径优化

• 发表时间: 2022
• 作者: 岸川 大航;荒井 幸代;今村麟太郎，荒井幸代;堀江直人，荒井幸代
• 通讯作者: 堀江直人，荒井幸代