CAREER: Towards an Intermittent Learning Framework for Smart and Efficient Cyber-Physical Autonomy

职业：走向智能高效的网络物理自治的间歇性学习框架

基本信息

批准号：
1851588
负责人：
Kyriakos G Vamvoudakis
金额：
$ 49.93万
依托单位：
Georgia Tech Research Corporation
依托单位国家：
美国
项目类别：
Continuing Grant
财政年份：
2018
资助国家：
美国
起止时间：
2018-08-01 至 2025-04-30
项目状态：
未结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=1851588&HistoricalAwards=false
关键词：
CAREER Towards Intermittent Learning Framework

项目摘要

This project expands how reinforcement learning frameworks can be used for Cyber-Physical Systems (CPS) for autonomy. The research utilizes intermittent reinforcement, where a reward is not given every time the desired response is performed. This differs from traditional reinforcement learning mechanisms, in which a reward is given for each point during online training. What is novel in this framework is that it can demonstrate how reinforcement learning can be used when rare events, or noisy and adversarial data, can affect the training and performance of these algorithms. The work will be validated on collaborative road freight transport and collaborative robotics testbeds, through international partnerships with Sweden and the United Kingdom. The project includes activities that integrate high-school students into challenging problems in machine learning areas, motivated through drone racing competitions.The goal of this research is to expand foundational knowledge through deepened ties between the learning, control, game theory, and CPS communities. The approach is to, (i) unify new perspectives of learning in engineering with respect to resiliency, bandwidth efficiency, robustness, and other aspects that cannot be achieved with the state-of-the-art approaches; (ii) develop intermittent deep learning methods for CPS that can mitigate sensor attacks and can handle cases of limited sensing capabilities; (iii) incorporate nonequilibrium game-theoretic learning in CPS with components whose decision-making, rationality, and information usage are fundamentally different; and (iv) investigate ways to transfer learning to new platforms. The project's education and outreach component includes internships that will lead to technology transfer, summer camps with a special focus on reaching out to underrepresented minorities and women, and collaboration with institutions in Sweden and the United Kingdom through student exchange programs.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.

该项目扩展了强化学习框架如何用于网络物理系统（CPS）的自治。该研究采用间歇性强化，即不会在每次执行所需响应时都给予奖励。这与传统的强化学习机制不同，传统的强化学习机制在在线训练期间对每个点给予奖励。该框架的新颖之处在于，它可以演示当罕见事件或噪声和对抗性数据可能影响这些算法的训练和性能时，如何使用强化学习。这项工作将通过与瑞典和英国的国际合作，在协作道路货运和协作机器人测试平台上得到验证。该项目包括通过无人机竞赛竞赛激励高中生解决机器学习领域挑战性问题的活动。这项研究的目标是通过加深学习、控制、博弈论和 CPS 社区之间的联系来扩展基础知识。该方法旨在：(i) 统一工程学习的新视角，涉及弹性、带宽效率、鲁棒性以及其他最先进方法无法实现的方面； (ii) 为 CPS 开发间歇性深度学习方法，可以减轻传感器攻击并处理传感能力有限的情况； (iii) 将非平衡博弈论学习纳入 CPS 中，其决策、理性和信息使用完全不同； (iv) 研究将学习转移到新平台的方法。该项目的教育和推广部分包括导致技术转让的实习、特别注重接触代表性不足的少数族裔和妇女的夏令营，以及通过学生交换计划与瑞典和英国的机构合作。该奖项反映了 NSF 的法定使命，并通过使用基金会的智力价值和更广泛的影响审查标准进行评估，被认为值得支持。

项目成果

期刊论文数量（80）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Game Theory for Autonomy: From Min-Max Optimization to Equilibrium and Bounded Rationality Learning

自主博弈论：从最小-最大优化到均衡和有限理性学习

DOI：
10.23919/acc55779.2023.10156432
发表时间：
2023-05
期刊：
2023 American Control Conference (ACC
影响因子：
0
作者：
Vamvoudakis, Kyriakos G.;Fotiadis, Filippos;Hespanha, João P.;Chinchilla, Raphael;Yang, Guosong;Liu, Mushuang;Shamma, Jeff S.;Pavel, Lacra
通讯作者：
Pavel, Lacra

Bounded Rational Unmanned Aerial Vehicle Coordination for Adversarial Target Tracking

对抗性目标跟踪的有界理性无人机协调

DOI：
10.23919/acc45564.2020.9147737
发表时间：
2020-07
期刊：
2020 American Control Conference (ACC
影响因子：
0
作者：
Kokolakis, Nick;Kanellopoulos, Aris;Vamvoudakis, Kyriakos G.
通讯作者：
Vamvoudakis, Kyriakos G.

CODES: Cooperative Data-Enabled Extremum Seeking for Multi-Agent Systems

代码：多智能体系统的协作数据极值搜索

DOI：
10.1109/cdc40024.2019.9029908
发表时间：
2019-12
期刊：
2019 IEEE 58th Conference on Decision and Control (CDC
影响因子：
0
作者：
Poveda, Jorge. I.;Vamvoudakis, Kyriakos G.;Benosman, Mouhacine
通讯作者：
Benosman, Mouhacine

Switching for Unpredictability: A Proactive Defense Control Approach,

针对不可预测性进行切换：主动防御控制方法，

DOI：
发表时间：
2019-09
期刊：
2019 American Control Conference (ACC
影响因子：
0
作者：
Kanellopoulos, Aris;Vamvoudakis, Kyriakos G.
通讯作者：
Vamvoudakis, Kyriakos G.

Concurrent Receding Horizon Control and Estimation against Stealthy Attacks

针对隐形攻击的并发后退地平线控制和估计

DOI：
10.1109/tac.2022.3195922
发表时间：
2022-11
期刊：
IEEE Transactions on Automatic Control
影响因子：
6.8
作者：
Fotiadis, Filippos;Vamvoudakis, Kyriakos. G.
通讯作者：
Vamvoudakis, Kyriakos. G.

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Kyriakos G Vamvoudakis其他文献

Dynamic Intermittent Feedback Design for H∞ Containment Control on a Directed Graph

有向图上 H 遏制控制的动态间歇反馈设计

DOI：
10.1109/tcyb.2019.2933736
发表时间：
2020
期刊：
IEEE Transactions on Cybernetics
影响因子：
11.8
作者：
Yongliang Yang;Hamidreza Modares;Kyriakos G Vamvoudakis;Yixin Yin;Donald C Wunsch
通讯作者：
Donald C Wunsch