A novel development of optimization and deep learning methods based on the idea of structure-preserving numerical analysis

基于结构保持数值分析思想的优化和深度学习方法的新发展

基本信息

批准号：
21H03452
负责人：
松尾宇泰
金额：
$ 10.98万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03452/
关键词：
数値解析深層学習最適化

项目摘要

本研究では，(1)最適化手法および深層学習手法の数値解析学的解釈の基礎を再検討し，(2)それらにおいて有用な数理構造を抽出し，(3)その上で構造保存的数値計算法の考え方により新しい離散化，すなわち手法導出を，この順に検討してゆく．さらにその過程で，最適化や深層学習といった新しい計算分野を踏まえての，構造保存解法や数値解析学そのものの更新も必要に応じて検討することが目標である．以前のサーベイにより，最適化手法に対する常微分方程式アプローチにおいて，数値解析学の知見が充分活用されておらず不完全な状態にあることが分かっていた．この状況をふまえて昨年度までに，常微分方程式に対する数値解法の安定性の議論から，最適化手法を表す常微分方程式の解の収束レートが本質的に定まることを示していた．また最適化の一次法において，数値解析学的に手法の安定性に関係するのは目的関数のヘッセ行列の固有値であり，悪条件な問題ではこれらが安定性を議論する平面上で負の実軸上に広く分布することから，それに適した数値解法を用いることで，悪条件な問題においても効率よく動く手法が構成できることを示していた．本年度は，主に最適化手法の理論解析手法に着目し，数値解析学における「構造保存解法」の概念をうまく用いると，これまで職人芸的であった最適化手法の理論解析が見通しよく，統一的な枠組の上で議論できることを発見した．この新しい枠組では，手法の収束性を保証するための仮定が整理されており明解であり，新しい解法の構築に役立つことが期待される．

在这项研究中，我们（1）重新审视优化方法和深度学习方法的数值分析基础知识，（2）提取其中有用的数学结构，以及（3）开发结构保持数值我们将考虑新的离散化或方法推导，按此顺序基于计算方法的概念。此外，在此过程中，我们的目标是根据优化和深度学习等新计算领域，在必要时考虑更新结构保持解决方案和数值分析本身。以前的调查表明，常微分方程优化方法并不完整，因为数值分析的知识没有得到充分利用。鉴于这种情况，直到去年，我们才表明，代表优化方法的常微分方程解的收敛速度本质上是通过讨论常微分方程数值解的稳定性来确定的。另外，在线性优化方法中，从数值分析的角度来看，与方法的稳定性相关的是目标函数的Hessian矩阵的特征值，而在病态问题中，这些都是负实值在讨论稳定性的平面上，由于轴上的分布很宽，因此表明，通过使用适当的数值求解方法，可以构建即使在条件恶劣的问题中也能有效工作的方法。今年，我们主要关注优化方法的理论分析方法，如果利用好数值分析中“保结构解”的概念，优化方法的理论分析，这以前是一个手艺的问题，我们会发现我们可以基于一个统一的框架进行讨论。在这个新框架中，确保方法收敛的假设是有组织且清晰的，预计它将有助于构建新的解决方法。