機械学習による多体力学系の解空間構造抽出と大域的軌道最適化への応用

使用机器学习提取多体动力系统的解空间结构并应用于全局轨迹优化

• 批准号: 19J22024
• 负责人: 柳田 幹太
• 金额: $ 1.98万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-25 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19J22024/
• 关键词: 大域的最適化; 軌道設計; 強化学習; 深層学習

昨年度は深層強化学習を用いて比較的シンプルな円制限三体問題の軌道探索を自動化する枠組みの提案を行った。強化学習によって研究目的の一つ「探索結果の学習による探索の効率化 （単発性の解消）」は一部達成できたものの、強化学習は将来の情報を正確に予測することが苦手であり、探索精度や探索効率に課題があった。そこで今年度は、後の最適化を前提に初期軌道のみを強化学習で探索する枠組みの構築を目指した。強化学習の適用対象を初期軌道に絞ることで、探索精度や探索効率の抜本的な改善を図った。提案手法では軌道探索を二段階に分割し、それぞれ軌道の初期解生成を行うアウターループと最適制御理論に基づく最適化を行うインナーループとした。アウターループは柔軟な軌道生成が行えるように深層生成モデルで構築され、インナーループでの最適化後に良い局所解が得られやすいような「良い初期解分布」となるよう、強化学習によって訓練される。制御理論の厳密さや透明性を取り入れ、研究目的の一つ「解を得た過程の可視化（不透明性の解消）」にも繋がる内容であり、今後toy problemによる詳細な検証と円制限三体問題の軌道探索への応用が重要となる。

去年，我们提出了一个框架，以使用深厚的加强学习来自动搜索轨迹搜索相对简单的三体问题。尽管强化学习能够部分实现“通过学习搜索结果提高搜索效率的研究目标（消除单杆特征）”，但是强化学习并不擅长准确预测未来的信息，并且在搜索准确性和搜索效率方面面临挑战。因此，今年，我们旨在建立一个仅利用强化学习探索初始轨迹的框架，并假定以后的优化。通过缩小增强学习的目标以应用于初始轨迹，我们在搜索准确性和搜索效率方面做出了巨大的提高。在提出的方法中，将轨道搜索分为两个阶段，其外环会生成轨道的初始解决方案，以及基于最佳控制理论进行优化的内部环。外环由深层生成模型构建，以允许柔性轨道生成，并通过增强学习具有“良好的初始解决方案分布”而受到训练，其中在内部循环中进行了优化后，很容易获得良好的局部解决方案。该内容结合了控制理论的严格性和透明度，还将导致研究目的之一：“可视化获得解决方案的过程（消除不透明度），并且将来将变得很重要，以便使用玩具问题验证详细验证并将其应用于轨道搜索的详细验证，以搜索圆形限制限制的三体问题。

项目成果

深層強化学習を用いた地球低軌道からの低エネルギー軌道遷移の探索

利用深度强化学习探索低地球轨道的低能轨道转变

• 发表时间: 2019
• 作者: Kanta Yanagida;Naoya Ozaki;Ryu Funase;柳田幹太，尾崎直哉，船瀬龍
• 通讯作者: 柳田幹太，尾崎直哉，船瀬龍

Exploration of Long Time-of-Flight Three-Body Transfers Using Deep Reinforcement Learning

使用深度强化学习探索长飞行时间三体转移

• 发表时间: 2020
• 作者: Kanta Yanagida;Naoya Ozaki;Ryu Funase
• 通讯作者: Ryu Funase

Demonstration of Simulator Environment

模拟器环境演示

• 发表时间: 2019
• 作者: Yayoi Fujitaka;Kanta Yanagida
• 通讯作者: Kanta Yanagida

Mission to Earth-Moon Lagrange Point by a 6U CubeSat: EQUULEUS

6U CubeSat 地月拉格朗日点任务：EQULEUS

• DOI: 10.1109/maes.2019.2955577
• 发表时间: 2020
• 期刊: IEEE Aerospace and Electronic Systems Magazine
• 影响因子: 3.6
• 作者: Funase .、Ikari S.、Miyoshi K.、Yano;H.;Hirai;T.;et al.
• 通讯作者: et al.

Design and Development of Low-cost and Highly Reliable C&DH Subsystem for Deep Space Nano Satellites

低成本高可靠C的设计与开发

• 发表时间: 2019
• 作者: Ryo Suzumoto;Shintaro Nakajima;Kanta Yanagida;Kota Kakihara;Wataru Mikuriya;Satoshi Ikari;Yosuke Kawabata;Kota Miyoshi;Funase Ryu
• 通讯作者: Funase Ryu