A study of server management technology for sustaining a large scale distributed neural network

维持大规模分布式神经网络的服务器管理技术研究

基本信息

批准号：
20K19791
负责人：
水谷后宏
金额：
$ 2万
依托单位：
Kindai University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本年度の研究実績は以下の2つである。1. 大規模連合学習を実現する構造化オーバレイネットワーク技術の開発連合学習と呼ばれる手法では、ニューラルネットワークを個々の計算機に分配し、学習させ、そのモデルを統合する。これまでの研究では、統合時のデータ通信量削減やニューラルネットワークの選別方法に焦点が当てられており、連合学習自体を実現する基盤についての検討が十分に進められていなかった。今年度の研究では、複数の計算機が連携してニューラルネットワークの統合を円滑に実現する分散計算基盤技術を開発し、連合学習の学習効率を向上できることを確認した。本内容については現在IEEEの著名会議への投稿準備を行っている。2. 計算機の地理位置情報を考慮した大規模ニューラルネットワークの分割学習技術の開発各計算機に分割されたニューラルネットワークを割り当て、大規模なニューラルネットワークを実現する場合、分割されたニューラルネットワーク同士の因果関係を考慮した最適な分割が必要である。特に、ニューラルネットワーク上で隣接する層間の通信が頻繁に発生するため、地理的に近い計算機への割り当てが重要である。本年度の研究成果では、Content-Addressable Network（CAN）を用いて、各計算機を緯度・経度順に高速に配置する技術を開発した。この技術では、緯度・経度が類似する計算機間でニューラルネットワークの隣接する層を配置する。本研究についても、国内外の学会への投稿準備を進めている。

今年的研究成果如下。 1. 开发结构化覆盖网络技术以实现大规模联邦学习在联邦学习的方法中，神经网络被分布到单独的计算机上，进行训练，然后集成模型。以往的研究主要集中在集成过程中减少数据通信以及如何选择神经网络，而没有充分研究实现联邦学习本身的基础。在今年的研究中，我们开发了一种分布式计算平台技术，可以让多台计算机协同工作，平滑地集成神经网络，并证实可以提高联邦学习的学习效率。我们目前正准备将此内容提交给著名的 IEEE 会议。 2.开发考虑计算机地理位置信息的大规模神经网络分段学习技术当通过将分段神经网络分配给每台计算机来实现大规模神经网络时，必须确定分段神经网络之间的因果关系。有必要找到考虑以下因素的最佳划分。特别是，由于神经网络上相邻层之间频繁发生通信，因此分配给地理位置彼此接近的计算机非常重要。在今年的研究成果中，我们开发了一种利用内容可寻址网络（CAN）来快速按经纬度顺序排列计算机的技术。在这种技术中，神经网络的相邻层被放置在具有相似纬度和经度的计算机之间。我们还准备将这项研究提交给国内外的学术会议。