大規模分散深層学習をIn-Network Computingで加速する相互結合網

通过网内计算加速大规模分布式深度学习的互连接网络

• 批准号: 20K19788
• 负责人: 河野 隆太
• 金额: $ 2.66万
• 依托单位: National Institute of Informatics (2021-2022)Japan Advanced Institute of Science and Technology (2020)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K19788/
• 关键词: 相互結合網; 大規模分散深層学習; ビッグデータ; In-Network Computing; データセンタ

ビッグデータに対する大規模深層学習を行う場合、多数のプロセッサを同時並列に使用してデータの特徴量を抽出する必要がある。この問題の解決策として有力視されているのが、DSA（Domain Specific Architecture）と呼ばれる専用プロセッサをデータセンタ内に数十万ノードの規模で配置し、分散学習を行うシステムである。 しかし、ディープラーニングにおける順伝播や逆伝播の際、DSA間で特徴量や勾配を交換する通信が高遅延・高頻度となり、性能のボトルネックとなる。高帯域幅と拡張性を重視する従来のデータセンタ・ネットワークでは、こうした勾配交換のための通信の高速化は困難である。そこで本研究では、ネットワーク上の中間スイッチに特徴や勾配を集約して中間処理するIn-Network Computingを活用し、通信の低遅延性と高帯域性を両立するための技術開発に取り組んでいる。第三年度である2022年度において研究代表者は、(1) ドメイン固有アプリケーションの性能向上のためのルーティング手法の改良、(2) ニューラルネットワークの接続構造最適化、の2点に取り組んだ。(1) について、実行アプリケーションに対して通信性能を最適化可能なルーティングの動的再構成手法の実用化を行った。また、(2) について、推論の高性能化と必要計算資源量の削減を両立可能な、ニューラルネットワークの接続構造の最適化手法を開発した。

在对大数据进行大规模深度学习时，需要并行使用许多处理器来提取数据特征。解决这个问题的一个有希望的解决方案是在数据中心内数十万个节点的规模上部署称为 DSA（域特定架构）的专用处理器并执行分布式学习的系统。 然而，在深度学习的前向传播和反向传播过程中，DSA之间交换特征和梯度的通信会导致高延迟和高频率，成为性能瓶颈。在强调高带宽和可扩展性的传统数据中心网络中，这种梯度交换很难实现高速通信。因此，在本研究中，我们正在开发利用网络内计算实现低延迟和高带宽通信的技术，该计算在网络上的中间交换机处聚合特征和梯度并执行中间处理。第三年2022财年，首席研究员做了两点工作：（1）改进路由方法以提高特定领域应用的性能，（2）优化神经网络的连接结构。关于（1），我们已将一种动态重新配置路由方法投入实际使用，可以优化运行应用程序的通信性能。关于（2），我们开发了一种优化神经网络连接结构的方法，既可以提高推理性能，又可以减少所需的计算资源量。

项目成果

任意トポロジに対する仮想チャネルを用いない低遅延なデッドロックフリー・ルーティング

低延迟、无死锁路由，无需任意拓扑的虚拟通道

• 发表时间: 2021
• 作者: 土田理人;酒井和哉;河野 隆太
• 通讯作者: 河野 隆太

低直径ネットワーク・トポロジのための適応型デッドロックフリー・ルーティング

适用于小直径网络拓扑的自适应无死锁路由

• 发表时间: 2022
• 作者: 平山孝弘;地引昌弘;ベド カフレ;河野 隆太
• 通讯作者: 河野 隆太

画像認識のための Optimally Wired Neural Networks

用于图像识别的最佳连线神经网络

• 发表时间: 2022
• 作者: Z. Liu;M. Yoshida;K. Mihara;T. Ikebe;S. Oishi and A. Nakao;河野 隆太
• 通讯作者: 河野 隆太

Dynamic Routing Reconfiguration for Low-Latency and Deadlock-Free Interconnection Networks

• DOI: 10.1109/candar57322.2022.00023
• 发表时间: 2022-11
• 期刊: 2022 Tenth International Symposium on Computing and Networking (CANDAR)
• 作者: Ryuta Kawano;Hiroki Matsutani;M. Koibuchi;H. Amano

ルーティングの動的再構成によるネットワークのデッドロックフリー性・低遅延性の両立

通过动态路由重配置实现无死锁和低延迟网络

• 发表时间: 2021
• 作者: M. Yoshida;K. Mori;T. Inoue;H. Tanaka;河野 隆太
• 通讯作者: 河野 隆太