Iterative Algorithms for Statistics: From Convergence Rates to Statistical Accuracy

统计迭代算法：从收敛率到统计准确性

基本信息

批准号：
2015454
负责人：
Martin Wainwright
金额：
$ 30万
依托单位：
University of California-Berkeley
依托单位国家：
美国
项目类别：
Continuing Grant
财政年份：
2020
资助国家：
美国
起止时间：
2020-07-01 至 2022-11-30
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=2015454&HistoricalAwards=false
关键词：
Iterative Algorithms Statistics Convergence Rates

项目摘要

Science, engineering, and industry are all being revolutionized by the modern era of data science, in which increasingly large and rich forms of data are now available. The applications are diverse and broadly significant, including data-driven discovery in astronomy, statistical machine learning approaches to drug design, and decision-making in robotics and automated driving, among many others. This grant supports research on techniques and models for learning from such massive datasets, leading to computationally efficient algorithms that can be scaled to the large problem instances encountered in practice. The PI plans to integrate research and education through the involvement of graduate students in the research, the inclusion of the research results in courses at UC Berkeley and in publicly available web-based course materials, as well as in mini courses at summer schools and workshops. This project will also provide mentoring and support for graduate students and postdocs who are female or belong to URM communities.Many estimates in statistics are defined via an iterative algorithm applied to a data-dependent objective function (e.g., the EM algorithm for missing data and latent variable models; gradient-based methods and Newton's method for M-estimation; boosting algorithms used in non-parametric regression). This projectl gives several research thrusts that are centered around exploiting the dynamics of these algorithms in order to answer statistical questions, with applications to statistical parameter estimation; selection of the number of components in a mixture model; and optimal bias-variance trade-offs in non-parametric regression. In more detail, the aims of this project include (i) providing a general analysis of the EM algorithm for non-regular mixture models and related singular problems, in which very slow (sub-geometric) convergence is typically observed; (ii) developing a principled method for model selection based on the convergence rate of EM, and to prove theoretical guarantees on its performance; developing a general theoretical framework for combining the convergence rate of an algorithm with bounds on its (in)stability so as to establish bounds on the statistical estimation error; and (iii) providing a complete analysis of the full boosting path for various types of boosting updates, including kernel boosting, as well as gradient-boosted regression trees, and to analyze the "overfitting" regime, elucidating conditions under which overfitting does or does not occur.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.

现代数据科学时代正在彻底改变科学、工程和工业，数据的规模和形式日益丰富。这些应用多种多样且广泛重要，包括天文学中的数据驱动发现、药物设计的统计机器学习方法以及机器人和自动驾驶中的决策等等。这笔赠款支持对从如此庞大的数据集中学习的技术和模型的研究，从而产生可以扩展到实践中遇到的大型问题实例的计算高效的算法。 PI 计划通过研究生参与研究、将研究成果纳入加州大学伯克利分校的课程、公开的网络课程材料以及暑期学校和研讨会的迷你课程，将研究和教育结合起来。该项目还将为女性或属于 URM 社区的研究生和博士后提供指导和支持。统计中的许多估计是通过应用于依赖于数据的目标函数的迭代算法来定义的（例如，针对缺失数据和数据的 EM 算法）潜变量模型；基于梯度的方法和用于非参数回归的牛顿法；该项目给出了几个研究重点，这些研究重点围绕利用这些算法的动态性来回答统计问题，并应用于统计参数估计；选择混合模型中的组件数量；以及非参数回归中的最佳偏差-方差权衡。更详细地说，该项目的目标包括 (i) 为非正则混合模型和相关奇异问题提供 EM 算法的一般分析，其中通常会观察到非常慢的（亚几何）收敛； (ii) 开发一种基于 EM 收敛速度的模型选择原则方法，并证明其性能的理论保证；开发一个通用的理论框架，将算法的收敛速度与其稳定性的界限相结合，从而建立统计估计误差的界限； (iii) 提供对各种类型的提升更新的完整提升路径的完整分析，包括内核提升以及梯度提升回归树，并分析“过度拟合”机制，阐明过度拟合发生或发生的条件该奖项反映了 NSF 的法定使命，并通过使用基金会的智力价值和更广泛的影响审查标准进行评估，被认为值得支持。

项目成果

期刊论文数量（8）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

协变量平移的新相似性度量及其在非参数回归中的应用

DOI：
发表时间：
2022-07
期刊：
Proceedings of the International Conference on Machine Learning
影响因子：
0
作者：
Pathak, Reese;Ma, Cong;Wainwright, Martin J.
通讯作者：
Wainwright, Martin J.

Singularity, Misspecification, and the Convergence Rate of {EM}

{EM} 的奇点、错误指定和收敛率

DOI：
发表时间：
2020-01
期刊：
The annals of statistics
影响因子：
0
作者：
Dwivedi, R.;Khamaru, K.;Wainwright, M;Jordan, M.;Yu, B.
通讯作者：
Yu, B.

Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning.

使用线性架构稳定 Q 学习，以实现可证明的高效学习。

DOI：
发表时间：
2022-07
期刊：
International Conference on Machine Learning
影响因子：
0
作者：
Zanette, Andrea;Wainwright, Martin
通讯作者：
Wainwright, Martin

Fed{S}plit: {A}n algorithmic framework for fast federated optimization

Fed{S}plit：用于快速联合优化的{A}n算法框架

DOI：
发表时间：
2020-01
期刊：
Advances in neural information processing systems
影响因子：
0
作者：
Pathak, R.;Wainwright, M. J.
通讯作者：
Wainwright, M. J.

ROOT-SGD: Sharp Nonasymptotics and Asymptotic Efficiency in a Single Algorithm

ROOT-SGD：单一算法中的尖锐非渐近和渐近效率

DOI：
发表时间：
2022-07
期刊：
Conference on Computational Learning Theory
影响因子：
0
作者：
Li, C.J.;Mou, W.;Wainwright, M. J.;Jordan, M. I.
通讯作者：
Jordan, M. I.

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Martin Wainwright其他文献

An Analysis of Convex Relaxations for MAP Estimation of Discrete MRFs

离散MRF MAP估计的凸松弛分析

DOI：
10.5555/1577069.1577072
发表时间：
2009-12-01
期刊：
J. Mach. Learn. Res.
影响因子：
0
作者：
M. Pawan Kumar;V. Kolmogorov;P. Torr;Martin Wainwright;Pawan Kumar;Philip H S Torr Kumar
通讯作者：
Philip H S Torr Kumar