Communication Design for Fast and Accurate Decentralized Machine Learning over Wireless Networks

通过无线网络实现快速准确的分散式机器学习的通信设计

基本信息

批准号：
22K14255
负责人：
佐藤光哉
金额：
$ 3万
依托单位：
The University of Electro-Communications
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K14255/
关键词：
分散機械学習低遅延最適化無線通信機械学習

项目摘要

分散機械学習の低遅延化に向けた学習・通信設計に従事した。具体的に、空中計算を用いた分散ガウス過程回帰の低遅延化手法を提案した。分散ガウス過程回帰は、学習用データを複数端末上で分割処理することで、その演算量の大幅な削減を実現する方式である。低演算量である一方、通信コストが端末台数に依存するという問題があった。Product of Expertsに基づく分散ガウス過程回帰における計算結果が各端末の計算結果の和で表現出来る点に着目した空中計算の設計を行ない、通信コストが端末台数に依存しない分散ガウス過程回帰の確立に成功した。無線通信における回帰タスクの1つである電波マップ構築における空間内挿を対象に、本方式の精度を評価した。計算機シミュレーションにより、チャネル状態情報の内容や端末台数に応じてAirCompを伴わない分散ガウス過程回帰と比較して二乗平均平方根誤差 (RMSE: Root Mean Squared Error)特性が劣化するものの、長区間変動特性を正確に推定出来る場合と比較して十分高精度に内挿が実施できることを確認した。また、分散機械学習システムテストベッドのdocker実装を行った。学習機能をPythonおよびPyTorchにより記述可能である他、コンテナオーケストレーションによりネットワーク上の複数のLinux端末を連携できる。5台のNVIDIA Jetson Nanoを用いた実験により、画像分類タスクにおいて単一計算機上での計算機シミュレーション結果と同程度の学習精度が得られることを確認した。端末の変更や増量が簡易であり、今後の実機実験で活用する予定である。以上の取り組みに関する成果は、IEICE情報理論研究会およびスマート無線研究会にて招待講演の形で発表し、関連分野の研究者らへ広くアピールした。

从事低估分布式机器学习的学习和沟通设计。具体而言，我们提出了一种使用空中计算返回分布式高斯过程的低删除方法。分布式高斯过程的回归是一种方法，其中学习数据的量在多个端子上分配，以显着减少计算。另一方面，沟通成本取决于终端的数量。设计的空气计算重点是以下事实：每个终端的回归都可以根据专家的乘积表示每个终端的回归总量，并且通信成本不取决于终端的数量，因此，成功建立了分布式高斯的回归。在无线通信中的回归任务之一中，评估了该方法的内部内部的精度。计算机仿真导致两个平方英尺的平均平方根误差（RMSE：根平方误差）特性，以恶化转移高斯转移的特征，具体取决于通道状态信息的内容和终端的数量被证实，与可以准确估计的情况相比，在-house Interl中进行了高精度。此外，实施了分布式机器学习系统测试床的Docker实施。学习函数可以由Python和Pytorch描述，并且可以通过容器编排在网络上链接多个Linux终端。使用五个Nvidia Jetson Nano的实验证实，在图像分类任务中，在单个计算器上的计算器模拟的学习精度相同。更改和增加终端很简单，将在未来的实际机器实验中使用。上述计划的结果是在IEICE信息理论研究小组和智能无线研究小组的邀请演讲的形式中宣布的，并吸引了相关领域的研究人员。