CIF: Medium: Collaborative Research: Nonconvex Optimization for High-Dimensional Signal Estimation: Theory and Fast Algorithms

CIF：中：协作研究：高维信号估计的非凸优化：理论和快速算法

基本信息

批准号：
1806154
负责人：
Yuejie Chi
金额：
$ 40万
依托单位：
Carnegie-Mellon University
依托单位国家：
美国
项目类别：
Continuing Grant
财政年份：
2018
资助国家：
美国
起止时间：
2018-01-01 至 2021-08-31
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=1806154&HistoricalAwards=false
关键词：
CIF Medium Collaborative Research Nonconvex

项目摘要

High-dimensional signal estimation plays fundamental roles in various engineering and science applications, such as medical imaging, video and network surveillance. Estimation procedures that maintain both statistical and computational efficacy are of great practical value, which translate into desiderata such as less time patients need to spend in a medical scanner, faster response to cyber attacks, and capabilities to handle very large datasets. While a lot of signal estimation tasks are naturally formulated as nonconvex optimization problems, existing results for nonconvex methods have several fundamental limitations, and the current state of the art is still limited in terms of when, why and which nonconvex approaches are effective for a given problem. The goal of this research program is to significantly deepen and broaden the understanding and applications of nonconvex optimization for high-dimensional signal estimation.In this project, the investigators will study high-dimensional signal estimation via direct optimization of nonconvex, and potentially nonsmooth, loss functions, without resorting to convex relaxation. This research will explore geometric structures shared by nonconvex functions commonly encountered in signal estimation, and study the fundamental roles these structures play in determining the algorithmic convergence. These results will then be exploited as guidelines to develop fast and provably correct algorithms for estimating high-dimensional signals with physically induced structures and under streaming data observations. Specifically, the research program consists of three major thrusts: (1) understanding the geometric structures of important classes of nonconvex loss surfaces, and characterizing their impact on the convergence of optimization algorithms; (2) developing fast algorithms and the associated theory for the recovery of structured low-rank matrices; (3) designing new online algorithms that are time and space efficient under a streaming setting, with the capability of detecting and tracking the time-varying signals of interest.

高维信号估计在各种工程和科学应用中发挥着基础作用，例如医学成像、视频和网络监控。保持统计和计算效率的估计程序具有很大的实用价值，这可以转化为诸如患者需要在医疗扫描仪上花费的时间更少、对网络攻击的更快响应以及处理非常大的数据集的能力等需求。虽然许多信号估计任务自然地被表述为非凸优化问题，但非凸方法的现有结果具有几个基本限制，并且当前的技术水平在何时、为何以及哪些非凸方法对于给定情况有效方面仍然受到限制。问题。该研究计划的目标是显着加深和拓宽对高维信号估计的非凸优化的理解和应用。在该项目中，研究人员将通过非凸和潜在非平滑损失的直接优化来研究高维信号估计函数，无需借助凸松弛。本研究将探索信号估计中常见的非凸函数所共享的几何结构，并研究这些结构在确定算法收敛性方面发挥的基本作用。然后，这些结果将被用作开发快速且可证明正确的算法的指南，用于估计具有物理诱导结构和流数据观测的高维信号。具体来说，该研究计划包括三个主要重点：（1）了解重要类别非凸损失表面的几何结构，并表征它们对优化算法收敛的影响； (2) 开发用于恢复结构化低秩矩阵的快速算法和相关理论；（3）设计新的在线算法，在流设置下具有时间和空间效率，具有检测和跟踪感兴趣的时变信号的能力。

项目成果

期刊论文数量（32）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Low-Rank Matrix Recovery With Scaled Subgradient Methods: Fast and Robust Convergence Without the Condition Number

使用缩放次梯度方法的低秩矩阵恢复：无需条件数的快速鲁棒收敛

DOI：
10.1109/tsp.2021.3071560
发表时间：
2021-01
期刊：
IEEE Transactions on Signal Processing
影响因子：
5.4
作者：
Tong, Tian;Ma, Cong;Chi, Yuejie
通讯作者：
Chi, Yuejie

Tightening the Dependence on Horizon in the Sample Complexity of Q-Learning

加强 Q-Learning 样本复杂度对 Horizon 的依赖

DOI：
10.1007/s00239-010-9414-3
发表时间：
2021-02-12
期刊：
ArXiv
影响因子：
0
作者：
Gen Li;Changxiao Cai;Yuxin Chen;Yuantao Gu;Yuting Wei;Yuejie Chi
通讯作者：
Yuejie Chi

Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric Low-Rank Matrix Sensing

超越 Procrustes：用于非对称低阶矩阵传感的无平衡梯度下降

DOI：
10.1109/tsp.2021.3051425
发表时间：
2021-01-13
期刊：
IEEE Transactions on Signal Processing
影响因子：
5.4
作者：
Cong Ma;Yuanxin Li;Yuejie Chi
通讯作者：
Yuejie Chi

On the Sensitivity of Spectral Initialization for Noisy Phase Retrieval

噪声相位反演的谱初始化灵敏度研究

DOI：
10.1109/icassp.2019.8682584
发表时间：
2019-05
期刊：
Speech and Signal Processing (ICASSP
影响因子：
0
作者：
Monardo, Vincent;Chi, Yuejie
通讯作者：
Chi, Yuejie

Nonconvex Matrix Factorization from Rank-One Measurements

一阶测量的非凸矩阵分解

DOI：
发表时间：
2019-04
期刊：
Proceedings of Machine Learning Research
影响因子：
0
作者：
Li, Y.;Ma, C.;Chen, Y.;Chi, Y.
通讯作者：
Chi, Y.

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Yuejie Chi其他文献

One-bit principal subspace estimation

一位主子空间估计

DOI：
10.1109/globalsip.2014.7032151
发表时间：
2014-12-01
期刊：
2014 IEEE Global Conference on Signal and Information Processing (GlobalSIP)
影响因子：
0
作者：
Yuejie Chi
通讯作者：
Yuejie Chi

Stochastic Approximation and Memory-Limited Subspace Tracking for Poisson Streaming Data

泊松流数据的随机逼近和内存有限子空间跟踪

DOI：
发表时间：
2018
期刊：
IEEE Transactions on Signal Processing
影响因子：
5.4
作者：
Liming Wang;Yuejie Chi
通讯作者：
Yuejie Chi

Implicit Regularization in Nonconvex Statistical Estimation

非凸统计估计中的隐式正则化

DOI：
发表时间：
2018
期刊：
International Conference on Machine Learning
影响因子：
0
作者：
Cong Ma;Kaizheng Wang;Yuejie Chi;Yuxin Chen
通讯作者：
Yuxin Chen

Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF

价值激励偏好优化：线上线下 RLHF 的统一方法

DOI：
10.48550/arxiv.2405.19320
发表时间：
2024-05-29
期刊：
ArXiv
影响因子：
0
作者：
Shicong Cen;Jincheng Mei;Katayoon Goshvadi;Hanjun Dai;Tong Yang;Sherry Yang;D. Schuurmans;Yuejie Chi;Bo Dai
通讯作者：
Bo Dai