Development of Collision Avoidance System for Maritime Autonomous Surface Ship: Imitating and Surpassing Human Experts by Deep Inverse Reinforcement Learning

海上自主水面船舶防撞系统开发：通过深度逆强化学习模仿并超越人类专家

基本信息

批准号：
22KJ2623
负责人：
檜垣岳史
金额：
$ 1.34万
依托单位：
Osaka Metropolitan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2025-03-31
项目状态：
未结题

项目摘要

本研究課題では、人間の経験に従って実行される避航操船行動の定量化を図るとともに、熟練船長の感覚に基づく避航航路の獲得に取り組んだ。まず、最大エントロピー逆強化学習を用いて任意の避航航路から最適報酬を導出する手法を提案した。その検証のため、Dangerous Area of Collision (DAC)と呼ばれる衝突危険領域を避けるようなサンプル航路をあらかじめ生成し、その航路を逆強化学習の入力とすることで報酬関数を推定した。推定された報酬分布がDACの形状と良く一致することから、操船の感覚を定量化する手段として最大エントロピー逆強化学習が有効であることを示した。続いて、一般商船の船長経験者の協力のもと、船長による操船シミュレーション実験を実施した。実験で得られた操船航路をエキスパートデータとし報酬関数を導出することで、熟練船長による避航操船の特徴を明らかにした。さらに、得られる報酬が最大となるような経路探索を行うことで熟練船長の感覚に基づく最適航路計画を提案し、今津問題と呼ばれる避航操船のテストシナリオを用いて最適航路計画の有用性を示した。一連の研究成果は日本船舶海洋工学会論文集36巻に掲載されている。他方、研究の遂行にあたり、逆強化学習の適用範囲が小規模かつ離散的な状態空間に限られるという課題に直面した。そこで、強化学習と逆強化学習の2段階最適化問題を1つのミニマックス問題として定式化した敵対的生成模倣学習を導入し、大規模連続状態空間に適用可能な避航航路計画手法を開発した。本年度は、相手船1隻に対する避航航路のサンプルデータが与えられた際、本手法によって所与の航路を精度良く模倣できること確認した。

在这个研究项目中，我们试图量化基于人类经验的回避动作，并致力于根据经验丰富的船长的感觉获取回避路线。首先，我们提出了一种使用最大熵逆强化学习从任意回避路线得出最佳奖励的方法。为了验证这一点，我们提前生成了一条避开危险碰撞区域（DAC）的样本路线，并使用该路线作为逆强化学习的输入来估计奖励函数。估计的奖励分布与 DAC 的形状匹配得很好，表明最大熵逆强化学习作为量化船舶操纵感觉的手段是有效的。接下来，在经验丰富的商船船长的配合下，我们进行了船长的船舶操纵模拟实验。通过利用实验中获得的船舶操纵航线作为专家数据推导奖励函数，阐明了经验丰富的船长进行让路操纵的特点。此外，通过搜索使获得的奖励最大化的航线，我们根据经验丰富的船长的感觉提出最佳航线计划，并使用称为今津问题的让路机动测试场景证明最佳航线计划的有用性。塔。一系列研究成果发表在《日本造船海洋工程学会会刊》第36卷上。另一方面，在开展研究时，我们面临着逆强化学习的应用范围仅限于小而离散的状态空间的问题。因此，我们引入了对抗性生成模仿学习，将强化学习和逆强化学习的两步优化问题表述为单个极小极大问题，并开发了一种可应用于大规模连续状态空间的回避路线规划方法。今年，我们证实，当给定单艘敌船的避让航线样本数据时，该方法可以准确地模拟给定航线。