データ活用制御手法の信頼性向上にむけた確率雑音の効用解析

随机噪声提高数据利用控制方法可靠性的有效性分析

• 批准号: 21J14577
• 负责人: 伊藤 海斗
• 金额: $ 0.96万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J14577/
• 关键词: 最適制御; 最適輸送; 機械学習; エントロピー; 振動子; プライバシー; 確率システム; 最適制御; 最適輸送; 機械学習; エントロピー; 振動子; プライバシー; 確率システム

確率雑音が制御システムにおける学習にもたらす効用解析を目的として，最適制御におけるエントロピー正則化の研究に取り組んだ．離散時間線形システムの初期状態分布と目標分布がガウス分布で与えられたときに，終端時刻で状態分布を目標分布に一致させる制御問題を考えた．制御コストを二次形式と制御方策のエントロピー正則化項で与えたとき，コスト最小化解が陽に与えられることを示した．さらにその解がエントロピー正則化最適輸送問題の最適解を与えることを示した．エントロピー正則化は強化学習・最適輸送において，そして分布のダイナミクスは生成モデル(拡散モデル)において注目されており，最適制御を通してこれらをつなげる興味深い結果が得られたといえる．また分布ダイナミクスに関連して，多数の振動子から成る群を一つの確率分布でモデリングし，振動子全体に共通の制御入力を与えることで振動子分布を目標分布へ収束させる問題に取り組んだ．振動子が雑音に駆動される場合，振動子分布を目標分布と完全に一致させることは一般にできない課題があった．そこで本研究では，L2距離の意味で目標分布の近くに留まる振動子分布の軌道を最適化で設計，そしてその軌道へ振動子分布が任意の初期分布から収束できる制御方策を設計するアプローチを提案した．さらに提案法の収束性を証明した．また，エントロピー正則化と同様に制御方策の確率性を促進させる「Kullback-Leibler(KL)制御問題」を考察した．従来のKL制御は遷移分布の可制御性に関する仮定をおくことで，最適解が効率的に計算できることが知られていたが，状態空間が連続な場合，その仮定は非現実的なものであった．そこで本研究ではKL制御の定式化を適切に修正することで，連続状態空間における非現実的な仮定の除去ができ，連続空間においてもKL制御の利点が享受できるようになった．

我们研究了最佳控制熵正则化的研究，目的是分析随机噪声带来控制系统中学习的效用。我们考虑一个控制问题，其中初始状态分布和离散时间线性系统的目标分布作为高斯分布，并且状态分布与结束时的目标分布一致。结果表明，当以二次形式给出控制成本和控制策略的熵正则项时，成本最小化解决方案将明确给出。此外，已经表明该解决方案为熵正规化的最佳运输问题提供了最佳解决方案。熵正则化引起了人们对增强学习和最佳运输的关注，并且分布动力学在生成模型（扩散模型）中引起了人们的注意，可以说，通过通过最佳控制将它们链接来获得有趣的结果。此外，与分布动力学有关，我们已经解决了建模由许多具有单个概率分布的振荡器组成的组的问题，并向整个振荡器提供了共同的控制输入，以将振荡器分布收敛到目标分布。当传感器由噪声驱动时，通常很难使传感器分布与目标分布完全匹配。因此，在这项研究中，我们提出了一种设计振荡器分布轨迹的方法，该方法在L2距离的意义上保持在目标分布附近，并设计了一种控制策略，该策略允许振荡器分布从任意初始分布收敛到该轨迹。此外，证明了所提出的方法的收敛性。我们还讨论了“ Kullback-Leibler（KL）控制问题”，该问题促进了控制策略的概率性质，类似于熵正则化。众所周知，常规KL控制可以通过对过渡分布的可控性进行假设来有效地计算最佳解决方案，但是当状态空间连续时，假设是不现实的。因此，在这项研究中，通过正确修改KL控制的制定，可以消除连续状态空间中的不现实假设，并且在连续空间中也可以享受KL控制的优势。