CAREER: Demystifying Deep Machine Learning Models using Convex Optimization for Reliable AI

职业：使用凸优化揭开深度机器学习模型的神秘面纱，实现可靠的人工智能

基本信息

批准号：
2236829
负责人：
Mert Pilanci
金额：
$ 50万
依托单位：
Stanford University
依托单位国家：
美国
项目类别：
Continuing Grant
财政年份：
2023
资助国家：
美国
起止时间：
2023-02-01 至 2028-01-31
项目状态：
未结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=2236829&HistoricalAwards=false
关键词：
CAREER Demystifying Deep Machine Learning

项目摘要

This project develops a theoretical framework for deep neural networks, a type of machine learning model that has had tremendous success in a range of applications including image and speech recognition, robotics, and automation. Although these models have been successful, there remain significant open questions in the understanding of how they make decisions or how they can be made more efficient, robust and reliable. Additionally, there is a lack of transparency in the inner workings of deep neural networks, which can make it difficult to trust their output and interpret their results. By developing a theoretical framework to study and train these models based on convexity, which is a well-studied mathematical concept in optimization theory, this project aims to improve their reliability and interpretability, ultimately leading to more efficient and trustworthy artificial intelligence systems. This project likewise seeks to educate the next generation of researchers, and benefit society by enabling safe and effective applications of artificial intelligence.The technical approach is based on a novel convex analytic framework to study, train, and validate non-convex models, including deep neural networks. By leveraging the hidden convex optimization landscape in non-convex training losses, this project develops a theoretical foundation that should demystify the optimization and generalization properties of these models. By applying techniques from signal processing, compressed sensing and convex optimization, the project seeks to unify ideas and methods from diverse fields in order to advance the state of the art in non-convex models. This will advance our understanding of the fundamental behavior of deep neural networks and mitigate challenges associated with their use. In addition, this project will investigate the interpretability, verifiability and robustness of these models through the lens of convex optimization in practical applications. The diverse applications of neural networks can attract graduate students with diverse backgrounds and contribute to the integration of modern deep learning topics in signal processing courses.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.

该项目开发了深度神经网络的理论框架，深度神经网络是一种机器学习模型，在图像和语音识别、机器人和自动化等一系列应用中取得了巨大成功。尽管这些模型取得了成功，但在理解它们如何做出决策或如何使其更加高效、稳健和可靠方面仍然存在重大悬而未决的问题。此外，深度神经网络的内部运作缺乏透明度，这使得人们很难相信其输出并解释其结果。通过开发一个基于凸性（优化理论中经过充分研究的数学概念）的理论框架来研究和训练这些模型，该项目旨在提高其可靠性和可解释性，最终形成更高效、更值得信赖的人工智能系统。该项目同样旨在教育下一代研究人员，并通过安全有效地应用人工智能来造福社会。该技术方法基于新颖的凸分析框架来研究、训练和验证非凸模型，包括深度模型神经网络。通过利用非凸训练损失中隐藏的凸优化景观，该项目开发了一个理论基础，可以揭开这些模型的优化和泛化属性的神秘面纱。通过应用信号处理、压缩感知和凸优化技术，该项目寻求统一不同领域的思想和方法，以推进非凸模型的最新技术。这将增进我们对深度神经网络基本行为的理解，并减轻与其使用相关的挑战。此外，该项目还将通过实际应用中的凸优化镜头来研究这些模型的可解释性、可验证性和鲁棒性。神经网络的多样化应用可以吸引不同背景的研究生，并有助于将现代深度学习主题融入信号处理课程中。该奖项反映了 NSF 的法定使命，通过利用基金会的智力优势和更广泛的评估，被认为值得支持。影响审查标准。

项目成果

期刊论文数量（3）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs

修复 NTK：从神经网络线性化到精确凸规划

DOI：
发表时间：
2023-12
期刊：
Neural Information Processing Systems (NeurIPS
影响因子：
0
作者：
Dwaraknath, Rajat Vadiraj;Ergen, Tolga;Pilanci, Mert
通讯作者：
Pilanci, Mert

Optimal Sets and Solution Paths of ReLU Networks

ReLU网络的最优集和求解路径

DOI：
发表时间：
2023-01
期刊：
International Conference on Machine Learning
影响因子：
0
作者：
Mishkin, Aaron;Pilanci, Mert
通讯作者：
Pilanci, Mert

Path regularization: A convexity and sparsity inducing regularization for parallel relu networks

路径正则化：并行 ReLU 网络的凸性和稀疏性诱导正则化

DOI：
发表时间：
2023-12
期刊：
Neural Information Processing Systems (NeurIPS
影响因子：
0
作者：
Ergen, Tolga;Pilanci, Mert
通讯作者：
Pilanci, Mert

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Mert Pilanci其他文献

The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models

神经网络的凸景观：通过 Lasso 模型表征全局最优值和驻点

DOI：
10.48550/arxiv.2312.12657
发表时间：
2023-12-19
期刊：
ArXiv
影响因子：
0
作者：
Tolga Ergen;Mert Pilanci
通讯作者：
Mert Pilanci

Democratic Source Coding: An Optimal Fixed-Length Quantization Scheme for Distributed Optimization Under Communication Constraints

民主源编码：通信约束下分布式优化的最优定长量化方案

DOI：
10.1109/isit54713.2023.10206522
发表时间：
2021
期刊：
2023 IEEE International Symposium on Information Theory (ISIT)
影响因子：
0
作者：
R. Saha;Mert Pilanci;Andrea J. Goldsmith
通讯作者：
Andrea J. Goldsmith

Using a Novel COVID-19 Calculator to Measure Positive U.S. Socio-Economic Impact of a COVID-19 Pre-Screening Solution (AI/ML)

使用新型 COVID-19 计算器衡量 COVID-19 预筛查解决方案 (AI/ML) 对美国社会经济的积极影响

DOI：
发表时间：
2022
期刊：
arXiv.org
影响因子：
0
作者：
R. Swartzbaugh;Amil Khanzada;Praveen Govindan;Mert Pilanci;A. Owoyemi;Les E. Atlas;Hugo Estrada;Richard Nall;Michael Lotito;Rich Falcone;J. Ranjani
通讯作者：
J. Ranjani

All Local Minima are Global for Two-Layer ReLU Neural Networks: The Hidden Convex Optimization Landscape

对于两层 ReLU 神经网络，所有局部最小值都是全局的：隐藏的凸优化景观

DOI：
发表时间：
2020
期刊：
arXiv.org
影响因子：
0
作者：
Jonathan Lacotte;Mert Pilanci
通讯作者：
Mert Pilanci

Pretraining and the Lasso

预训练和套索

DOI：
10.1021/om4004187
发表时间：
2024-01-23
期刊：
Organometallics
影响因子：
2.8
作者：
Erin Craig;Mert Pilanci;Thomas Le Menestrel;Balasubramanian Narasimhan;Manuel Rivas;Roozbeh Dehghannasiri;Julia Salzman;Jonathan Taylor;Robert Tibshirani
通讯作者：
Robert Tibshirani