AI技術に基づく安定性の保証付き制御手法の開発

基于AI技术的稳定性保障控制方法开发

• 批准号: 21K14178
• 负责人: 川口 貴弘
• 金额: $ 2.83万
• 依托单位: Gunma University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K14178/
• 关键词: 分散制御; 強化学習; レトロフィット制御; 制御工学; 安定性

本研究では，レトロフィット制御理論と強化学習法を組み合わせることで，どのようなデータが得られたとしても制御系の安定性を保証できる適応的な分散制御法の構築を目指している．レトロフィット制御理論によって安定性を保証する鍵の一つは，対象の物理によって決まる整流器を制御器の内部に含めることである．したがって，レトロフィット制御の考え方を強化学習に取り入れるためには，このような整流器を含んだうえで，内部制御器のみを学習する，構造付きの学習法が必要になる．本年度は，昨年度提案した方法である有限インパルス応答表現を用いたレトロフィット強化学習法の適用について，精度向上のための手法の検討を行った．インパルス応答表現を用いる際には，制御に用いる信号の過去の値を多数保持し，それらの係数を学習によって求めることが必要である．この特徴から，求めるパラメータ数が多くなり，雑音などの影響を受けやすくなるという欠点があった．この問題点を解決するために，近年システム同定の分野で注目されているインパルス応答推定法である，カーネルに基づく正則化法を組み合わせて利用することを提案した．これにより，雑音の影響を受けにくくなり，学習後の制御性能が向上することをシミュレーションを通して確かめた．その過程で，システム同定にも利用可能な新たなカーネル正則化法を提案することができた．さらに，これまでは強化学習を行う主体が単一であることを仮定して研究を行ってきたが，一つの大規模システムを複数の主体が管理する状況を想定し，複数主体が同時に強化学習を行う状況への適用についても検討した．シミュレーションを通して，それぞれの主体の学習結果が互いに悪影響を及ぼすことはなく，単一主体での学習では達成不可能な性能を達成できることを示した．

在这项研究中，目的是建立一种自适应分布式控制方法，即使通过将复古拟合控制理论和增强的学习方法相结合，即使获得了任何数据，也可以保证控制系统的稳定性。通过改造控制理论保证稳定性的关键之一是在控制中包括由目标物理学确定的整流器。因此，为了将改造控制的概念纳入增强的学习中，一种结构学习方法，其中包括这种整流器，仅需要内部控制器。今年，我们研究了一种使用有限的IMPULSE响应表达式（去年提出的，提高了复古拟合增强学习方法）的准确性。当使用脉冲响应表达式时，有必要维持用于控制的信号的大量过去值，并通过学习来学习这些系数。从此功能中，有一个缺点，即要请求的参数数量增加，并且变得更容易受到噪声的影响。为了解决这个问题，我们建议将脉冲响应估计方法的结合使用，该方法一直在近年来引起系统识别领域的关注。通过模拟证实了这一点，它不太可能受到噪声的影响并改善了邮政的控制性能。在此过程中，我们能够提出一项可用于系统识别的新内核正规化定律。此外，我们一直在进行研究，假设强化学习的主要主题是一个单一的主题，但是假设多个受试者管理一个大规模系统，那么我们还同时研究了该情况。通过模拟，每个受试者的结果不会彼此产生负面影响，并且一个受试者的学习可以实现无法实现的绩效。

项目成果

カーネル正則化を用いたレトロフィット強化学習法

使用核正则化改进强化学习方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司;五十嶋洸人，種村昌也，千田有一;川口貴弘;三上凌，川口貴弘，橋本誠司;松井一馬，種村昌也，千田有一;橋本直季，根岸航平，川口貴弘，橋本誠司
• 通讯作者: 橋本直季，根岸航平，川口貴弘，橋本誠司

複数主体の存在下におけるレトロフィット強化学習法

改进多参与者存在下的强化学习方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司
• 通讯作者: 根岸航平，川口貴弘，橋本誠司

Retrofit Controller Design Using a Finite Impulse Response Representation and Reinforcement Learning

使用有限脉冲响应表示和强化学习改进控制器设计

• 发表时间: 2022
• 作者: Kohei Negishi;Takahiro Kawaguchi;Seiji Hashimoto
• 通讯作者: Seiji Hashimoto

ブロックスパース最適化を用いたARXモデルの同定法

使用块稀疏优化的ARX模型识别方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司;五十嶋洸人，種村昌也，千田有一;川口貴弘;三上凌，川口貴弘，橋本誠司
• 通讯作者: 三上凌，川口貴弘，橋本誠司

インパルス応答のモード表現に基づくカーネル正則化を用いたシステム同定法

基于脉冲响应模态表示的核正则化系统辨识方法

• 发表时间: 2023
• 作者: K. Isoshima;M. Tanemura;and Y. Chida;柴公平，種村昌也，千田有一，畑中健志，東俊一;五十嶋洸人，種村昌也，千田有一;米田尭広，種村昌也，千田有一，東 俊一，畑中健志;中山龍雅，種村昌也，千田有一，東俊一，畑中健志;柴公平，種村昌也，千田有一，畑中健志，東俊一;根岸航平，川口貴弘，橋本誠司;五十嶋洸人，種村昌也，千田有一;川口貴弘
• 通讯作者: 川口貴弘