Collaborative Research: CCSS: Learning to Optimize: From New Algorithms to New Theory

合作研究：CCSS：学习优化：从新算法到新理论

基本信息

批准号：
2113860
负责人：
Yingbin Liang
金额：
$ 22万
依托单位：
Ohio State University
依托单位国家：
美国
项目类别：
Standard Grant
财政年份：
2021
资助国家：
美国
起止时间：
2021-08-15 至 2024-07-31
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=2113860&HistoricalAwards=false
关键词：
Collaborative Research CCSS Learning Optimize

项目摘要

Solving machine learning (ML) problems requires efficient and scalable optimization algorithms. State-of-the-art general purpose algorithms often need to compute a large number of iterations and hence have limited applicability to real-time applications. To circumvent this shortcoming, learning to optimize (L2O) methods aim to learn a shorter (i.e., faster) optimization path over a task distribution at meta-training, based on the tasks’ common structures and a more global view of their geometries, and then apply the learned optimizer to new similar tasks at meta-testing. Despite extensive empirical success, the existing L2O methods perform well mainly on optimization tasks with similar structures, but likely perform poorly on out-of-distribution tasks. Furthermore, there has been little theory understanding the convergence and generalization of L2O algorithms. Thus, the proposed program will design novel L2O approaches, so that the trained optimizer can generalize to a broad range of practical tasks, particularly out-of-distribution tasks, and will have guaranteed convergence and generalization performance in L2O training and testing.Specifically, the proposed program will design new L2O approaches with both generalizability to out-of-distribution tasks and safeguarded feature for guaranteed worst-case convergence, will develop a theoretical framework for analyzing the convergence rate for L2O meta-training, and will provide comprehensive characterization of the generalization performance for L2O meta-testing. The new algorithms and theory will be evaluated over applications of on-device model adaptation in internet-of-things (IoT) systems, sparse recovery for images and wireless signals, and algorithmic adaptation in reconfiguration of communication systems. The project is anticipated to significantly mature the field of L2O, and provide training opportunities for a diverse group of students at the new intersection of optimization, machine learning, signal processing, and data science.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.

解决机器学习（ML）问题需要有效且可扩展的优化算法。最新的通用算法通常需要计算大量迭代，因此对实时应用程序的可应用性有限。为了避免这一缺点，学习优化（L2O）方法旨在根据任务的共同结构和对几何形状的更全局的看法，学习较短的（即更快）优化路径，然后将学习的优化器应用于Meta-testing的新型任务。尽管经验取得了广泛的成功，但现有的L2O方法主要在具有相似结构的优化任务上表现良好，但在分发任务上可能表现较差。此外，几乎没有理论理解L2O算法的融合和概括。拟议的计划将设计新颖的L2O方法，以便训练有素的优化器可以推广到各种各样的实际任务，尤其是分布式任务，并保证在L2O培训和测试中保证收敛性和概括性性能。具体而言，提议的计划将设计新的L2O方法，以确保范围内的AREDE SAFERISE AR DEARSTARE AR DEATERID SAFERED SAFERED SAFEREDS TEATER SAFERTIBERS TEATER SAFERD SEAFERDS TEATERS TEATERS WEATS TEATERING SERVARTS WESTIST SERVANTS WESSITITS造就，使得范围内的特征，分析L2O元训练的收敛速率以及新算法和理论的理论框架将在启用（IoT）系统中的设备模型适应（IoT）系统的应用中进行评估，图像和无线信号的稀疏恢复以及算法适应通信系统的算法适应。预计该项目将在L2O领域中显着成熟，并在新的优化，机器学习，信号处理和数据科学的交集中为潜水员组提供培训机会。该奖项反映了NSF的法定任务，并被认为是通过基金会的知识分子和更广泛的影响审查标准来通过评估来通过评估来获得的支持。

项目成果

期刊论文数量（6）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation

DOI：
10.48550/arxiv.2303.00039
发表时间：
2023-02
期刊：
ArXiv
影响因子：
0
作者：
Junjie Yang;Xuxi Chen;Tianlong Chen;Zhangyang Wang;Yitao Liang
通讯作者：
Junjie Yang;Xuxi Chen;Tianlong Chen;Zhangyang Wang;Yitao Liang

Provably Faster Algorithms for Bilevel Optimization

DOI：
发表时间：
2021-06
期刊：
影响因子：
0
作者：
Junjie Yang;Kaiyi Ji;Yingbin Liang
通讯作者：
Junjie Yang;Kaiyi Ji;Yingbin Liang

Provably Efficient Algorithm for Nonstationary Low-Rank MDPs

DOI：
10.48550/arxiv.2308.05471
发表时间：
2023-08
期刊：
ArXiv
影响因子：
0
作者：
Yuan Cheng;J. Yang;Yitao Liang
通讯作者：
Yuan Cheng;J. Yang;Yitao Liang

Theory on Forgetting and Generalization of Continual Learning

DOI：
10.48550/arxiv.2302.05836
发表时间：
2023-02
期刊：
影响因子：
0
作者：
Sen Lin;Peizhong Ju;Yitao Liang;N. Shroff
通讯作者：
Sen Lin;Peizhong Ju;Yitao Liang;N. Shroff

Learning to generalize provably in learning to optimize

在学习优化中学习可证明泛化

DOI：
发表时间：
2023
期刊：
International Conference on Artificial Intelligence and Statistics (AISTATS
影响因子：
0
作者：
Yang, Junjie;Chen, Tianlong;Zhu, Mingkang;He, Fengxiang;Tao, Dacheng;Liang, Yingbin;Wang, Zhangyang.
通讯作者：
Wang, Zhangyang.

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Yingbin Liang其他文献

Capacity bounds for a class of cognitive interference channels with state

一类具有状态的认知干扰信道的容量界限

DOI：
10.1109/allerton.2011.6120223
发表时间：
2011
期刊：
2011 49th Annual Allerton Conference on Communication, Control, and Computing (Allerton)
影响因子：
0
作者：
Ruchen Duan;Yingbin Liang
通讯作者：
Yingbin Liang