An Interval Maintenance Support Algorithm for Arrival Air Traffic Flow by Integrating Deep Reinforcement Learning and Control

深度强化学习与控制相结合的到达空中交通流间隔维护支持算法

• 批准号: 21K14271
• 负责人: 虎谷 大地
• 金额: $ 1.91万
• 依托单位: National Institute of Maritime, Port and Aviation Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K14271/
• 关键词: 航空交通管理; 航空管制官支援; 軌道予測; ガウス過程回帰; 深層強化学習; 最適制御; 到着管理; 到着間隔づけ

本年度は，前年度に開発したガウス過程回帰 (Gaussian Process Regression: GPR) を用いた航空機速度のモデリング手法に関して，シミュレーションを用いた提案手法の評価を行った．本研究の研究対象である航空管制官のための間隔維持支援アルゴリズムの内部では，間隔維持のための支援情報を計算するために，航空機の軌道予測を必要とする． 提案手法で得られた航空機の速度モデルを支援アルゴリズム内部の軌道予測に用いることで，軌道予測の精度が向上し，その結果，支援アルゴリズムが生成する管制官のための支援情報の精度が向上すると期待された．シミュレーションでは，東京国際空港へ到着する交通流をレーダーデータから抽出し，そこへ支援アルゴリズムを適用することで，現実的な状況を用いた評価を実施した．提案手法と評価結果を論文としてまとめたものが，投稿論文に掲載された．また本年度は，研究計画の「(ii) 学習アルゴリズムの構築とモデルの学習」に関して，深層強化学習ベースの支援アルゴリズムの開発を行った．具体的には，各航空機の状態を入力とし，最適な行動（管制官の指示）を生成するエージェント（支援アルゴリズム）の構築を目指した．どのような状態量をエージェントへの入力とするか，またどの学習アルゴリズムを使用するか等の選択肢が無数にあるので，いくつかの組み合わせで支援アルゴリズムを試作する必要がある．今年度は特に，状態量として航空機の現在の状態に加えて，上記で述べた軌道予測の結果をエージェントに入力する方法と，学習アルゴリズムとしてDeep Q NetworkとDeep Deterministic Policy Gradientを用いた支援アルゴリズムの試作に注力した．

今年，我们使用上一年开发的高斯工艺回归（GPR）的模拟方法对提出的方法进行了模拟。在这是本研究的主题的间隔维护支持算法中，需要飞机轨迹预测来计算间隔维护的支持信息。通过使用使用建议的轨迹预测的飞机速度模型，可以提高轨迹预测的准确性，因此，将提高支持算法所产生的支持算法所产生的支持信息的准确性。在模拟中，从雷达数据中提取了到达东京国际机场的交通流量，并在此应用了支持的算法，并使用现实情况进行了评估。提出的方法和评估结果的摘要发表在提交的论文中。此外，今年，我们为研究计划开发了一种深入的基于学习的支持算法，“（ii）学习算法和模型学习的构建”。具体来说，我们旨在创建一个使用每架飞机状态作为输入状态的代理（支持算法），并生成最佳操作（从控制器的说明）。有无数的选项，例如要输入代理的状态数量以及要使用的学习算法，因此有必要使用多种组合原型A支持算法进行原型。尤其是今年，我们专注于飞机的当前状态作为状态数量，以及将上述轨迹预测结果输入到代理中的轨迹预测结果，以及使用深Q网络和深层确定性策略梯度作为学习算法的支持算法的原型。

项目成果

Support algorithm for air traffic controllers’ arrival spacing: Improvement of trajectory estimation using Gaussian Process Regression

空中交通管制员到达间隔的支持算法：使用高斯过程回归改进轨迹估计

• DOI: 10.1016/j.conengprac.2022.105343
• 发表时间: 2022
• 期刊: Control Engineering Practice
• 影响因子: 4.9
• 作者: Toratani Daichi;Yoshihara Takayuki;Senoguchi Atsushi
• 通讯作者: Senoguchi Atsushi

ガウス過程回帰を用いた旅客機の軌道予測精度の向上－ターミナル空域における降下機の較正対気速度のモデル化－

使用高斯过程回归提高客机轨迹预测精度 - 对航站楼空域中下降飞机的校准空速进行建模 -

• 发表时间: 2021
• 作者: Toratani Daichi;Yoshihara Takayuki;Senoguchi Atsushi;虎谷大地
• 通讯作者: 虎谷大地