CCSS: Collaborative Research: Towards a Resource Rationing Framework for Wireless Federated Learning

CCSS：协作研究：无线联邦学习的资源配给框架

基本信息

批准号：
2033671
负责人：
Cong Shen
金额：
$ 20万
依托单位：
University of Virginia Main Campus
依托单位国家：
美国
项目类别：
Standard Grant
财政年份：
2020
资助国家：
美国
起止时间：
2020-09-01 至 2024-08-31
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=2033671&HistoricalAwards=false
关键词：
CCSS Collaborative Research Towards Resource

项目摘要

Federated learning (FL) is an emerging distributed machine learning paradigm that has many attractive properties. Despite the early studies that have demonstrated the potential of jointly optimizing communication and computation, existing designs are not tailored to the unique characteristics of FL. This project aims at developing a novel and rigorous resource allocation framework for wireless FL, which we term resource rationing to emphasize balancing resources over time so that the long-term impact to the final learning outcome is explicitly captured. Resource rationing is built on a rigorous theoretical foundation and guides the algorithmic development that solves specific resource allocation problems in both physical and Media Access Control (MAC) layers. Federated learning is an emerging new application for wireless communications, and this project has potential to advance the technology development of this new use case. Meanwhile, the theoretical foundation, algorithms, and validation will broadly advance the state of the art in machine learning, communication theory, and wireless networking. Developing such practical and impactful technology would also help maintain the leadership of the United States in wireless technologies as well as keep the pipeline to supply high-quality, well-trained, and innovative engineers.The project pursues synergistic activities for the successful design and implementation of resource rationing for wireless FL. Novel convergence analysis of FL with varying resource in each learning round is carried out, which establishes the general later-is-better principle. Guided by the theoretical foundation, the project further builds a comprehensive algorithmic framework for specific resource rationing designs, ranging from physical layer bit loading and adaptive coding and modulation to the MAC layer client selection, bandwidth allocation, and power control.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.

联邦学习（FL）是一种新兴的分布式机器学习范式，具有许多吸引人的特性。尽管早期研究已经证明了联合优化通信和计算的潜力，但现有设计并未针对 FL 的独特特征进行定制。该项目旨在为无线 FL 开发一种新颖且严格的资源分配框架，我们将其称为资源配给，以强调随着时间的推移平衡资源，以便明确捕获对最终学习成果的长期影响。资源配给建立在严格的理论基础上，并指导解决物理层和媒体访问控制（MAC）层中特定资源分配问题的算法开发。联邦学习是无线通信的一种新兴应用，该项目有潜力推动这一新用例的技术开发。同时，理论基础、算法和验证将广泛推进机器学习、通信理论和无线网络的最新技术水平。开发这种实用且有影响力的技术还将有助于保持美国在无线技术领域的领先地位，并保持供应高素质、训练有素和创新工程师的渠道。该项目追求协同活动，以实现成功的设计和实施无线 FL 的资源配给。对每轮学习中具有不同资源的 FL 进行了新颖的收敛分析，建立了一般的“稍后更好”原则。在理论基础的指导下，该项目进一步构建了针对特定资源配给设计的全面算法框架，从物理层比特加载、自适应编码和调制到MAC层客户端选择、带宽分配和功率控制。该奖项体现了NSF的法定要求使命，并通过使用基金会的智力价值和更广泛的影响审查标准进行评估，被认为值得支持。

项目成果

期刊论文数量（18）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Federated Learning over Noisy Channels

嘈杂通道上的联邦学习

DOI：
10.1109/icc42927.2021.9500833
发表时间：
2021-01-06
期刊：
ICC 2021 - IEEE International Conference on Communications
影响因子：
0
作者：
Xizixiang Wei;Cong Shen
通讯作者：
Cong Shen

On the Convergence of Hybrid Federated Learning with Server-Clients Collaborative Training

混合联邦学习与服务器端协同训练的融合

DOI：
10.1109/ciss53076.2022.9751161
发表时间：
2022-03
期刊：
Conference on Information Sciences and Systems (CISS
影响因子：
0
作者：
Yang, Kun;Shen, Cong
通讯作者：
Shen, Cong

Resource Rationing for Wireless Federated Learning: Concept, Benefits, and Challenges

无线联合学习的资源配给：概念、优势和挑战

DOI：
10.1109/mcom.001.2000744
发表时间：
2021-05
期刊：
IEEE Communications Magazine
影响因子：
11.2
作者：
Shen, Cong;Xu, Jie;Zheng, Sihui;Chen, Xiang
通讯作者：
Chen, Xiang

Exploiting Feature Heterogeneity for Improved Generalization in Federated Multi-task Learning

利用特征异构性提高联邦多任务学习的泛化能力

DOI：
发表时间：
2023-06
期刊：
2023 IEEE International Symposium on Information Theory (ISIT
影响因子：
0
作者：
Liu, R.;Yang, J.;Shen, C.
通讯作者：
Shen, C.

A Self-Play Posterior Sampling Algorithm for Zero-Sum Markov Games

零和马尔可夫博弈的自博后验采样算法

DOI：
发表时间：
2022-01
期刊：
International Conference on Machine Learning
影响因子：
0
作者：
Xiong, Wei;Zhong, Han;Shi, Chengshuai;Shen, Cong;Zhang, Tong
通讯作者：
Zhang, Tong

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Cong Shen其他文献

Decentralized Multi-player Multi-armed Bandits with No Collision Information

无碰撞信息的去中心化多人多臂强盗

DOI：
10.1109/isit44484.2020.9174297
发表时间：
2020-02-29
期刊：
ArXiv
影响因子：
0
作者：
Chengshuai Shi;Wei Xiong;Cong Shen;Jing Yang
通讯作者：
Jing Yang

Feeder Power Flow Control Strategy for Flexible Multi-state Switch with Joint Access to the Distributed Generation

分布式发电联合接入的灵活多状态切换馈线潮流控制策略

DOI：
10.1109/acpee48638.2020.9136556
发表时间：
2020-06-01
期刊：
2020 5th Asia Conference on Power and Electrical Engineering (ACPEE)
影响因子：
0
作者：
C. Yu;Guorong Zhang;Bo Peng;Runsheng Xie;Cong Shen;K. Xu
通讯作者：
K. Xu

Associations between anti-mitochondrial antibodies and cardiac involvement in idiopathic inflammatory myopathy patients

特发性炎症性肌病患者抗线粒体抗体与心脏受累之间的关联

DOI：
10.1007/s00393-022-01216-2
发表时间：
2022-05-16
期刊：
Zeitschrift für Rheumatologie
影响因子：
0
作者：
Hui Wang;Yuan;Jing Hu;J. Jin;Jun Lu;Cong Shen;Zhaobin Cai
通讯作者：
Zhaobin Cai

A retrospective study of SPECT/CT scans using SUV measurement of the normal pelvis with Tc-99m methylene diphosphonate.

使用 Tc-99m 亚甲基二磷酸盐对正常骨盆进行 SUV 测量，对 SPECT/CT 扫描进行回顾性研究。

DOI：
10.3233/xst-180391
发表时间：
2018-04-10
期刊：
Journal of X-ray science and technology
影响因子：
0
作者：
Ruifeng Wang;Xiaoyi Duan;Cong Shen;D. Han;Junchao Ma;Hulin Wu;Xiaotong Xu;Tao Qin;Qiuju Fan;Zhaoguo Zhang;Weihua Shi;Youmin Guo
通讯作者：
Youmin Guo

Deep Reinforcement Learning based Wireless Network Optimization: A Comparative Study

基于深度强化学习的无线网络优化：比较研究

DOI：
10.1109/infocomwkshps50562.2020.9162925
发表时间：
2020-07-01
期刊：
IEEE INFOCOM 2020 - IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS)
影响因子：
0
作者：
Kun Yang;Cong Shen;Tie Liu
通讯作者：
Tie Liu