数値解析的安定性評価のODE的深層学習への展開

将数值稳定性评估部署到基于 ODE 的深度学习

基本信息

批准号：
22KJ1002
负责人：
磯部伸
金额：
$ 1.6万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ1002/
关键词：
深層学習 ODE 変分法平均場最適制御ニューラルネットワーク

项目摘要

巷で流行しているChatGPTに代表されるような現代の人工知能にとって，深層学習 (Deep Learning) と呼ばれる数理モデルは，不可欠な要素技術である．ここで，深層学習は，Deep Neural Network (DNN) という，非線形写像を逐次的に合成する関数モデルを，「学習」，つまり，数理最適化することである．DNNについては，万能近似定理や汎化誤差評価といった理論的な解析が進展している．他方，「学習」に関しては，DNNが関数合成から構成されていることが障壁となり，一般的な設定における解析が発展途上になってしまっている．この困難を克服しようと，DNNの逐次的な関数合成を，あるODEの離散化とみなす見方が持ち込まれつつある．このODE化されたDNNはODE-Netと呼ばれる．しかしながら，このようにDNNをODE-Netに取り換えた際には，ODE-Netに適合する「学習」の定式化や解析の枠組みを，新たに確立する必要がある．そこで本年度は，ODE-Netの学習を解析学的，または，変分的に定式化する研究を行った．先行研究においては，提案した変分的定式化に関する最小化元の存在性が，十分議論されていない．例えば，Bonnetらは「学習」に際して課される (L^2) 正則化に伴って必要な正則化パラメータが十分大きいという仮定が必要を必要としているが，実用的な「学習」では十分小さくとる必要がある．我々の研究では，この差を埋めるために，正則化パラメータに仮定を課さずに，最小化元の存在を証明した．この存在証明においては，Neural Networkがある種の線形性を有するという仮定が代わりに必要であるが，Bayes的定式化に触発された定式化を導入することによって，この線形性も仮定から外すことができることを証明した．

称为深度学习的数学模型是现代人工智能必不可少的基础技术，例如流行的ChatGPT。这里，深度学习指的是“学习”，或者换句话说，在数学上优化称为深度神经网络（DNN）的功能模型，该模型顺序合成非线性映射。关于DNN，万能逼近定理、泛化误差评估等理论分析正在取得进展。另一方面，关于“学习”，DNN 由函数组合组成的事实是一个障碍，一般环境下的分析仍在开发中。为了克服这个困难，人们引入了一种观点，将 DNN 的顺序函数组合视为某个 ODE 的离散化。这种 ODE 转换的 DNN 称为 ODE-Net。然而，当以这种方式用ODE-Net替代DNN时，需要建立一个与ODE-Net兼容的新的“学习”表述和分析框架。因此，今年，我们进行了以分析法或变分法制定 ODE-Net 学习的研究。在以前的研究中，所提出的变分公式的最小化元素的存在尚未得到充分讨论。例如，Bonnet等人要求假设在“学习”期间施加的(L^2)正则化所需的正则化参数足够大，但假设它对于实际“学习”来说足够小。。在我们的研究中，为了填补这一空白，我们证明了最小化元素的存在，而不对正则化参数施加任何假设。在这个存在性证明中，需要神经网络具有某种线性的假设，但是通过引入受贝叶斯公式启发的公式，这种线性也可以从假设中消除，我们已经证明这是可能的。