Consensus-Based Distributed Optimization Algorithms of Low Computational Cost and Their Applications to Machine Learning

基于共识的低计算成本分布式优化算法及其在机器学习中的应用

基本信息

批准号：
21H03510
负责人：
高橋規一
金额：
$ 8.65万
依托单位：
Okayama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

今年度は，課題１「ブロック座標降下法を組み込んだ分散最適化アルゴリズムの理論基盤構築」，課題２「深層学習への応用」，課題３「行列分解への応用」，課題５「計算機ネットワーク上での性能評価実験」においていくつかの成果が得られた．一つめは，格子状に配置された多数のエージェントが非負値行列因子分解を行うための分散アルゴリズムの大域収束性を証明したことである．詳細に言えば，分散アルゴリズム中で実行される平均合意アルゴリズムの反復回数が十分に大きいという条件の下で，分散アルゴリズムによって得られる解の列が停留点に収束することを証明した．これは課題３の主要な成果であるとともに，課題１の理論基盤構築に向けた重要なステップである．二つめは，昨年度に開発した，多数のニューラルネットワークが合意形成を行うための分散的全域木生成法とパラメータ値送受信法について，新たな実装を行って合意形成までの処理時間を大幅に短縮したことである．また，この合意形成手法に基づく連合学習アルゴリズムを実装し，同一LAN内の4台の計算機による実証実験と遠隔2拠点にある2台の計算機による実証実験を行い，いずれも正しく動作することを確認した．これは課題２と課題５にまたがる重要な成果である．三つめはlassoにおける交互方向乗数法を分散的に実行するためのアルゴリズムを開発し，1台の計算機上でシミュレーションを行って妥当性を確認したことである．これは合意に基づく分散最適化の考え方が多様なアルゴリズムに適用できることを示す成果である．

今年，我们在问题1中实现了几个结果：“建立结合块坐标下降方法的分布式优化算法的理论基础”，问题2：“对深度学习的应用”，问题3：“应用于矩阵分解”，问题5：“在计算机网络上的性能评估实验”。首先，我们已经证明了许多在晶格中排列以执行非阴性矩阵分解的代理的分散算法的全球收敛性。详细说明，我们已经证明，在分布式算法中执行的平均协议算法的迭代次数的条件下，通过分布式算法获得的解决方案序列将其收敛到停止点。这是问题3的主要结果，也是建立问题1的理论基础的重要一步。第二是，我们实施了分布式跨越树生成方法的新实现，而参数值传播和接收方法是去年开发的，许多神经网络可以大大减少处理时间，直到达成共识。此外，基于这种共识的方法实现了联合学习算法，并使用同一LAN中的四台计算机和两个远程位置的两台计算机进行了演示实验，证实它们俩都可以正常工作。这是跨越任务2和5的重要结果。第三个是开发一种以分布式方式在套索中实现交替的定向乘数方法的算法，并在一台计算机上模拟它们以确认有效性。这是一个成就，表明基于共识的分布式优化的概念可以应用于多种算法。