Collaborative Research: MLWiNS: Dino-RL: A Domain Knowledge Enriched Reinforcement Learning Framework for Wireless Network Optimization

合作研究：MLWiNS：Dino-RL：用于无线网络优化的领域知识丰富的强化学习框架

基本信息

批准号：
2003131
负责人：
Jing Yang
金额：
$ 18.16万
依托单位：
Pennsylvania State Univ University Park
依托单位国家：
美国
项目类别：
Standard Grant
财政年份：
2020
资助国家：
美国
起止时间：
2020-06-01 至 2024-05-31
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=2003131&HistoricalAwards=false
关键词：
Collaborative Research MLWiNS Dino RL

项目摘要

Reinforcement learning (RL) methods have met with renewed interest in recent years for adaptively configuring wireless networks. Despite the promising early results and the conceptual match, many existing approaches do not develop and tailor the RL methods to fit the unique characteristics of wireless networking. The goal of this project is to develop a novel domain knowledge enriched RL framework, or Dino-RL, to address this problem. The Dino-RL framework aims to seamlessly integrate the physical-law based modeling and an abstract episodic memory into the RL process, and has the potential to revamp the operation and management of future wireless networks. Developing this novel technology would also help maintain the nation's continued leadership in wireless technologies and its pipeline of highly qualified engineers. The project pursues synergistic activities for the successful design and implementation of Dino-RL, followed by a comprehensive, real-world data driven evaluation. Episodic RL is first studied with the objective to incorporate domain knowledge into building an efficient episodic memory. In addition, a hierarchical hidden variable model is built to enable meta-reinforcement learning for knowledge transfer and efficient exploration. Lastly, the conflict between enhancing the physical-law based modeling and reinforcement learning is balanced via novel sample-efficient model selection algorithms.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.

近年来，强化学习（RL）方法在自适应配置无线网络方面重新引起了人们的兴趣。尽管早期结果令人鼓舞且概念匹配，但许多现有方法并未开发和定制 RL 方法以适应无线网络的独特特征。该项目的目标是开发一种新颖的领域知识丰富的强化学习框架（Dino-RL）来解决这个问题。 Dino-RL 框架旨在将基于物理定律的建模和抽象情景记忆无缝集成到 RL 过程中，并有可能改进未来无线网络的运营和管理。开发这项新技术还将有助于保持国家在无线技术及其高素质工程师队伍方面的持续领先地位。该项目追求协同活动，以成功设计和实施 Dino-RL，然后进行全面的、真实世界数据驱动的评估。情景强化学习首先研究的目的是将领域知识融入构建有效的情景记忆。此外，还构建了分层隐变量模型，以实现知识转移和高效探索的元强化学习。最后，通过新颖的样本有效模型选择算法来平衡增强基于物理定律的建模和强化学习之间的冲突。该奖项反映了 NSF 的法定使命，并通过使用基金会的智力优点和更广泛的影响审查进行评估，被认为值得支持标准。

项目成果

期刊论文数量（10）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Safe Exploration Incurs Nearly No Additional Sample Complexity for Reward-Free RL

安全探索几乎不会为无奖励强化学习带来额外的样本复杂性

DOI：
发表时间：
2023-01
期刊：
International Conference on Learning Representations
影响因子：
0
作者：
Huang, R.;Yang, J.;Liang, Y.
通讯作者：
Liang, Y.

Multi-Agent Reinforcement Learning for Wireless User Scheduling: Performance, Scalablility, and Generalization

用于无线用户调度的多代理强化学习：性能、可扩展性和泛化

DOI：
10.1109/ieeeconf56349.2022.10051992
发表时间：
2022-10
期刊：
and Computers
影响因子：
0
作者：
Yang, Kun;Li, Donghao;Shen, Cong;Yang, Jing;Yeh, Shu;Sydir, Jerry
通讯作者：
Sydir, Jerry

Near-optimal Conservative Exploration in Reinforcement Learning under Episode-wise Constraints

逐集约束下强化学习的近最优保守探索

DOI：
发表时间：
2023-01
期刊：
Proceedings of the 40th International Conference on Machine Learning
影响因子：
0
作者：
Li, D.;Huang, R.;Shen, C.;Yang, J.
通讯作者：
Yang, J.

Federated Linear Contextual Bandits

联合线性上下文强盗

DOI：
发表时间：
2021-10-27
期刊：
影响因子：
0
作者：
Ruiquan Huang;Weiqiang Wu;Jing Yang;Cong Shen
通讯作者：
Cong Shen

Near-optimal Conservative Exploration in Reinforcement Learning under Episode-wise Constraints

逐集约束下强化学习的近最优保守探索

DOI：
发表时间：
2023-07
期刊：
Proceedings of the 40th International Conference on Machine Learning
影响因子：
0
作者：
Li, D.;Huang, R.;Shen C.;Yang J.
通讯作者：
Yang J.

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Jing Yang其他文献

Immunosuppressive Treatment Can Alter Visual Performance in the Royal College of Surgeons Rat.

免疫抑制治疗可以改变皇家外科学院大鼠的视觉表现。

DOI：
发表时间：
2016
期刊：
Journal of Ocular Pharmacology and Therapeutics
影响因子：
2.3
作者：
A. Cooper;Jang‐Hyeon Cho;Steven Menges;S. Masood;Junmuzi Xie;Jing Yang;H. Klassen
通讯作者：
H. Klassen