階層構造を持つ確率的凸最適化アルゴリズムの開発と大規模機械学習問題への応用

层次结构随机凸优化算法的开发及其在大规模机器学习问题中的应用

基本信息

批准号：
19H04134
负责人：
山田功
金额：
$ 10.9万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

階層構造を持つ凸最適化アルゴリズムを機械学習・信号処理に応用するための基盤構築に取り組み、その成果を凸最適化理論の世界的権威(Bauschke等)が企画編集したモノグラフ収録の査読付き招待論文(77頁)の形で世界発信することができた。この論文では「非拡大写像の不動点集合上の凸最適化法(ハイブリッド最急降下法)」と「単調作用素の近接分解法」の融合による新解法とその応用法を提案しており、応用事例として1995年以来の未解決問題「誤識別サンプル数を最小にする線形識別器の中から最大マージンを達成する特別な線形識別器を選択する問題」に対する近似解法を与えている(arXive版では多クラス識別に拡張している)。これらは何れも第1層の最適化問題の解全体からなる無限集合を計算可能な非拡大写像の不動点集合として表現する工夫がもたらした成果であるが、「高い応用価値を秘めた無限集合」に斬新な表現法を与え、活用することによって「非自明な構造を持つ最適化問題」の強力な解法を実現した特別な例となっている。当該年度は、本プロジェクトの狙いを広げ、実り多きものにするために、「無限集合の効果的表現法の開発と応用」に関する様々な可能性を検討し、以下の(i)～(iii)の成果を得ている。(i) スパース性利用逆問題のための凸制約付き非凸正則化最小２乗推定モデル「cLiGMEモデル」を提案するとともに、その解集合を非拡大写像の不動点集合で表現し、最適解への収束保証付きアルゴリズムを与えた。(ii) LiGMEモデルをDC最適化問題の観点から再解釈し、拡張されたDC型推定モデルを提案し、信号処理への応用例を示した。(iii) Stiefel 多様体の稠密集合を線形表現可能とする一般化Cayleyパラメトリゼーション法の基本性質解明と最適化アルゴリズムの開発。

我们致力于为机器学习和信号处理应用层次结构凸优化算法的基础，并且结果能够以同行评审的邀请论文（第77页）的形式在全球范围内分发，该论文（第77页）包含在全球当局在Convex优化理论（Bauschke等）中计划和编辑的专着和编辑。本文通过结合“在非磁化地图固定点集（混合型陡峭的下降）和“单调操作员接近分解方法”上结合“凸出的优化方法”，提出了一种新的解决方案及其应用，并为未解决的问题提供了近似问题的问题，从而为未解决的问题提供了一个特殊的线性鉴定的问题，以实现较大的识别范围，以实现该较大的差异示例示例，以实现该较大的示例示例，以实现该范围的范围。（在Arxive版本中，此方法扩展到多类标识）。所有这些结果都是由代表一组无限解决方案集的无限解决方案的独创性所带来的，可以计算出可以计算的非磁化固定点集，但是通过给出“具有高应用程序值的无限集合”的新颖表达方法，这是为“实现非亮度结构的优化问题”的一个特殊示例。在这个财政年度，为了扩大该项目的目标，并使其富有成果，各种可能性与“开发和应用有效的表达方法为无限集”，并将（i）的结果达到以下（iii）。（i）我们提出了一个非凸照的最小二乘估计模型，该模型具有使用稀疏性的逆问题的凸约限制，我们将解决方案集表示为非磁化固定点集，并提供了一种算法，并保证了与最佳解决方案的收敛性。（ii）我们从直流优化问题的角度重新解释了Ligme模型，提出了扩展的DC型估计模型，并提出了信号处理的应用。（iii）阐明广义Cayley参数化方法的基本特性，该方法允许线性表示stiefel歧管的密集集并开发优化算法。