Study on learning dynamics of high-dimensional machine learning models and development of efficient learning methods

高维机器学习模型的学习动力学研究及高效学习方法的开发

• 批准号: 19K20337
• 负责人: Nitanda Atsushi
• 金额: $ 2.75万
• 依托单位: Kyushu Institute of Technology (2021)The University of Tokyo (2019-2020)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-01 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19K20337/
• 关键词: 機械学習; 深層学習; ニューラルネットワーク; 確率的勾配降下法; ランジュバンダイナミクス; 確率的最適化法; 平均場理論; カーネル法; 加速分散縮小法; 超高次元ニューラルネット; 非凸最適化; 確率的最適化

项目成果

学習アルゴリズムの大域収束性と帰納的バイアス

学习算法的全局收敛和归纳偏差

• 发表时间: 2019
• 作者: Eto Hiroshi;Ito Takehiro;Kobayashi Yasuaki;Otachi Yota;Wasa Kunihiro;二反田篤史
• 通讯作者: 二反田篤史

粒子双対平均化法：平均場ニューラルネットワークの大域的収束保証付最適化法

粒子对偶平均法：平均场神经网络全局收敛保证的优化方法

• 发表时间: 2020
• 作者: 二反田篤史，Denny Wu;鈴木大慈
• 通讯作者: 鈴木大慈

Stochastic Gradient Descent with Exponential Convergence Rates for Classification Problems

分类问题的指数收敛率随机梯度下降

• 发表时间: 2019
• 作者: Shun-ichi Amari;Jimmy Ba;Roger Grosse;Xuechen Li;Atsushi Nitanda;Taiji Suzuki;Denny Wu;and Ji Xu;Atsushi Nitanda
• 通讯作者: Atsushi Nitanda

SGDの挙動解析に基づくデータクレンジング

基于SGD行为分析的数据清洗

• 发表时间: 2019
• 作者: Liu Jia;Xin Kang;Shun Nishide and Fuji Ren;原聡，二反田篤史，前原貴憲
• 通讯作者: 原聡，二反田篤史，前原貴憲

Particle Dual Averaging: Optimization of Mean Field Neural Networks with Global Convergence Rate Analysis

粒子对偶平均：利用全局收敛率分析优化平均场神经网络

• 发表时间: 2021
• 期刊: Advances in Neural Information Processing Systems (NeurIPS2021)
• 作者: Atsushi Nitanda;Denny Wu;Taiji Suzuki
• 通讯作者: Taiji Suzuki