データ活用制御手法の信頼性向上にむけた確率雑音の効用解析

随机噪声提高数据利用控制方法可靠性的有效性分析

基本信息

批准号：
21J14577
负责人：
伊藤海斗
金额：
$ 0.96万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-28 至 2023-03-31
项目状态：
已结题

项目摘要

確率雑音が制御システムにおける学習にもたらす効用解析を目的として，最適制御におけるエントロピー正則化の研究に取り組んだ．離散時間線形システムの初期状態分布と目標分布がガウス分布で与えられたときに，終端時刻で状態分布を目標分布に一致させる制御問題を考えた．制御コストを二次形式と制御方策のエントロピー正則化項で与えたとき，コスト最小化解が陽に与えられることを示した．さらにその解がエントロピー正則化最適輸送問題の最適解を与えることを示した．エントロピー正則化は強化学習・最適輸送において，そして分布のダイナミクスは生成モデル(拡散モデル)において注目されており，最適制御を通してこれらをつなげる興味深い結果が得られたといえる．また分布ダイナミクスに関連して，多数の振動子から成る群を一つの確率分布でモデリングし，振動子全体に共通の制御入力を与えることで振動子分布を目標分布へ収束させる問題に取り組んだ．振動子が雑音に駆動される場合，振動子分布を目標分布と完全に一致させることは一般にできない課題があった．そこで本研究では，L2距離の意味で目標分布の近くに留まる振動子分布の軌道を最適化で設計，そしてその軌道へ振動子分布が任意の初期分布から収束できる制御方策を設計するアプローチを提案した．さらに提案法の収束性を証明した．また，エントロピー正則化と同様に制御方策の確率性を促進させる「Kullback-Leibler(KL)制御問題」を考察した．従来のKL制御は遷移分布の可制御性に関する仮定をおくことで，最適解が効率的に計算できることが知られていたが，状態空間が連続な場合，その仮定は非現実的なものであった．そこで本研究ではKL制御の定式化を適切に修正することで，連続状態空間における非現実的な仮定の除去ができ，連続空間においてもKL制御の利点が享受できるようになった．

我们对最优控制中的熵正则化进行了研究，目的是分析随机噪声对控制系统学习的影响。当离散时间线性系统的初始状态分布和目标分布以高斯分布形式给出时，我们考虑状态分布在终端时间与目标分布匹配的控制问题。结果表明，当控制成本由控制策略的二次形式和熵正则化项给出时，明确给出了成本最小化解。此外，结果表明该解给出了熵正则化最优传输问题的最优解。熵正则化在强化学习和最优传输中受到关注，分布动力学在生成模型（扩散模型）中受到关注，可以说通过最优控制将它们连接起来，得到了有趣的结果。关于分布动力学，我们通过对具有单一概率分布的一组许多振荡器进行建模并对所有振荡器应用公共控制输入来解决将振荡器分布收敛到目标分布的问题。当振荡器由噪声驱动时，通常不可能使振荡器分布与目标分布完全匹配。因此，在本研究中，我们提出了一种方法，使用优化来设计振荡分布的轨迹，使其在 L2 距离方面保持接近目标分布，然后设计一种控制策略，使振荡分布从任意值收敛到该轨迹的初始分布。此外，我们证明了所提出方法的收敛性。我们还考虑了“Kullback-Leibler (KL) 控制问题”，它促进了类似于熵正则化的控制策略的随机性。众所周知，传统的KL控制可以通过假设转移分布的可控性来有效地计算最优解，但是当状态空间连续时，这种假设是不现实的。因此，在本研究中，通过适当修改KL控制的公式，可以消除连续状态空间中不切实际的假设，并且即使在连续空间中也可以享受KL控制的好处。