階層構造を持つ確率的凸最適化アルゴリズムの開発と大規模機械学習問題への応用

层次结构随机凸优化算法的开发及其在大规模机器学习问题中的应用

基本信息

批准号：
19H04134
负责人：
山田功
金额：
$ 10.9万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

階層構造を持つ凸最適化アルゴリズムを機械学習・信号処理に応用するための基盤構築に取り組み、その成果を凸最適化理論の世界的権威(Bauschke等)が企画編集したモノグラフ収録の査読付き招待論文(77頁)の形で世界発信することができた。この論文では「非拡大写像の不動点集合上の凸最適化法(ハイブリッド最急降下法)」と「単調作用素の近接分解法」の融合による新解法とその応用法を提案しており、応用事例として1995年以来の未解決問題「誤識別サンプル数を最小にする線形識別器の中から最大マージンを達成する特別な線形識別器を選択する問題」に対する近似解法を与えている(arXive版では多クラス識別に拡張している)。これらは何れも第1層の最適化問題の解全体からなる無限集合を計算可能な非拡大写像の不動点集合として表現する工夫がもたらした成果であるが、「高い応用価値を秘めた無限集合」に斬新な表現法を与え、活用することによって「非自明な構造を持つ最適化問題」の強力な解法を実現した特別な例となっている。当該年度は、本プロジェクトの狙いを広げ、実り多きものにするために、「無限集合の効果的表現法の開発と応用」に関する様々な可能性を検討し、以下の(i)～(iii)の成果を得ている。(i) スパース性利用逆問題のための凸制約付き非凸正則化最小２乗推定モデル「cLiGMEモデル」を提案するとともに、その解集合を非拡大写像の不動点集合で表現し、最適解への収束保証付きアルゴリズムを与えた。(ii) LiGMEモデルをDC最適化問題の観点から再解釈し、拡張されたDC型推定モデルを提案し、信号処理への応用例を示した。(iii) Stiefel 多様体の稠密集合を線形表現可能とする一般化Cayleyパラメトリゼーション法の基本性質解明と最適化アルゴリズムの開発。

我们一直致力于为将层次结构的凸优化算法应用于机器学习和信号处理奠定基础，相关成果已通过同行评审并受邀收录于世界凸优化理论权威策划和主编的专着中（例如 Bauschke），我能够以论文（77 页）的形式向全世界传播我的发现。本文结合“非扩展映射不动点集上的凸优化方法（混合最速下降法）”和“单调算子的邻域分解方法”，提出了一种新的求解方法及其应用方法，并给出了应用示例给出了自 1995 年以来未解决的问题的近似解决方案，“从线性分类器中选择一个特殊的线性分类器，以最大限度地减少误分类样本的数量”（arXive 版本有许多（扩展到类别识别）。所有这些结果都是通过将由第一层优化问题的所有解组成的无限集表示为可计算的不可扩展映射的不动点集来实现的。这是一个特殊的例子，其中使用一个强大的解决方案来解决优化问题。通过为``提供一种新颖的表达方法并利用它，实现了一个不平凡的结构。为了扩大该项目的目标并使其更加富有成效，今年，我们将考虑与无限集的有效表示方法的开发和应用相关的各种可能性，并将追求以下（i）至（iii）。已取得结果。 (i) 我们针对基于稀疏性的反问题提出了一种具有凸约束的非凸正则化最小二乘估计模型，“cLiGME 模型”，并将解集表示为非扩展映射的定点集以达到最优给出了保证收敛的算法。 (ii)我们从DC优化问题的角度重新解释了LiGME模型，提出了扩展的DC类型估计模型，并展示了其在信号处理中的应用示例。 (iii) 阐明广义凯莱参数化方法的基本属性，该方法允许线性表示密集的 Stiefel 流形集并开发优化算法。