Stiefel多様体上最適化のための新Cayley変換理論とデータサイエンス応用

用于 Stiefel 流形优化的新凯莱变换理论和数据科学应用

• 批准号: 22KJ1270
• 负责人: 久米 啓太
• 金额: $ 1.41万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ1270/
• 关键词: 多様体上最適化; Cayley変換; Stiefel多様体; 直交群; 非凸最適化; 主成分分析

本研究の目標は，多くのデータサイエンス技術応用の基盤的な問題「Stiefel多様体上最適化問題」を高速かつ数値安定的に求解できる新しい最適化戦略を実現することである．2022年度は「Stiefel多様体上最適化問題」をよりシンプルな「ユークリッド空間上最適化問題」に緩和して解くCayleyパラメータ表現法の数値不安定性解消に取り組んだ．Cayleyパラメータ表現法の数値不安定性は「Stiefel多様体上最適化問題」の緩和問題を解くことに起因している．提案している動的Cayleyパラメータ表現法は「Stiefel多様体上最適化問題」の等価問題である「複数の『ユークリッド空間上最適化問題』」を解くため，「Stiefel多様体上最適化問題」を数値安定的に求解できる．動的Cayleyパラメータ表現法では，それぞれの「ユークリッド空間上最適化問題」に対し既知のユークリッド空間上最適化アルゴリズムを適用可能である．よって，高速な収束性能を有するアルゴリズムを適用することで高速なStiefel多様体上最適化アルゴリズムの実現が期待できる．また，2022年度では動的Cayleyパラメータ表現法の統一的な収束解析に取り組んだ．この解析により，幅広いクラスのユークリッド空間上最適化アルゴリズム(勾配降下法や共役勾配法、Nesterov加速勾配法等)を動的Cayleyパラメータ表現法内で採用した場合に，生成点列の停留点に関する大域的収束性が保証される．Cayleyパラメータ表現法に関する研究成果を纏めた論文は数理最適化分野のQ1ジャーナル(Optimization)に掲載されている．動的Cayleyパラメータ表現法に関する研究成果を国内会議で複数発表している．

这项研究的目标是实现一种新的优化策略，可以快速且稳定地解决许多数据科学应用中的基本问题“Stiefel 流形优化问题”。 2022 年，我们致力于解决凯莱参数表示方法的数值不稳定性，该方法通过将“斯蒂菲尔流形优化问题”放松为更简单的“欧几里得空间优化问题”来解决它。凯莱参数表示的数值不稳定是由解决“Stiefel 流形上的优化问题”的松弛问题引起的。所提出的动态凯莱参数表示方法解决了“欧几里得空间上的多个优化问题”，这些问题是可以数值稳定地解决的“斯蒂菲尔流形上的优化问题”的等价问题。在动态凯莱参数表示方法中，已知的欧几里德空间优化算法可以应用于每个“欧几里德空间优化问题”。因此，通过应用具有快速收敛性能的算法，我们有望实现Stiefel流形上的快速优化算法。此外，2022年，我们对动态凯莱参数表达方法进行了统一收敛分析。该分析表明，当在动态凯莱参数表示方法中采用多种欧几里得空间优化算法（梯度下降、共轭梯度、Nesterov 加速梯度等）时，可以保证全局收敛。一篇总结凯莱参数表示方法研究成果的论文发表在数学优化领域的Q1期刊（Optimization）上。在国内多个会议上发表动态Cayley参数表示方法的研究成果。

项目成果

Computational Tools toward Cayley Parametrization Strategy for Optimization with Generalized Orthogonality Constraints

用于具有广义正交性约束优化的凯莱参数化策略的计算工具

• 发表时间: 2021
• 作者: Keita Kume;Isao Yamada
• 通讯作者: Isao Yamada

山田研究室

山田研究所

Cayley Parametrization Techniques for Optimization over the Stiefel manifold

用于 Stiefel 流形优化的 Cayley 参数化技术

• 发表时间: 2022
• 作者: Keita Kume;Isao Yamada
• 通讯作者: Isao Yamada

A Conjugate Gradient-type Algorithm with Adaptive Localized Cayley Parametrization for Optimization over Stiefel Manifold

Stiefel流形优化的自适应局部凯莱参数化共轭梯度算法

• 发表时间: 2022
• 作者: Kume Keita;Yamada Isao
• 通讯作者: Yamada Isao

Keita Kume A Global Cayley Parametrization of Stiefel Manifold for Direct Utilization of Optimization Mechanisms Over Vector Spaces

Keita Kume 用于直接利用向量空间优化机制的 Stiefel 流形的全局 Cayley 参数化

• 发表时间: 2021
• 作者: Keita Kume;Isao Yamada
• 通讯作者: Isao Yamada