Collaborative Research: SCALE MoDL: Representation Theoretic Foundations of Deep Learning

合作研究:SCALE MoDL:深度学习的表示理论基础

基本信息

  • 批准号:
    2134178
  • 负责人:
  • 金额:
    $ 66.12万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Continuing Grant
  • 财政年份:
    2022
  • 资助国家:
    美国
  • 起止时间:
    2022-01-01 至 2024-12-31
  • 项目状态:
    已结题

项目摘要

In the past decade, deep learning has had transformative impacts across society. However, progress has often relied on heuristic methods, massive data, and great computing power. This comes with limited theoretical understanding and has at times given rise to failures of generalization and vulnerable performance in extreme scenarios. This project will address these limitations by developing strong theoretical foundations for deep learning using representation theory, which is the mathematical study of symmetry. Symmetry plays a key role in human reasoning. Greater understanding of the role symmetry plays in deep learning will unlock a variety of improved models. These include models that can learn from scientific knowledge and not just raw data, models with trustable, guaranteed performance, and models that can recombine patterns they have already learned — as humans do easily — to generalize to new situations more rapidly. An explicit goal of this project is to broaden research into why deep learning works. To this end, the investigators will integrate the research into education and establish a mentorship program for high school students from groups underrepresented in science.The goal of the research is to understand the role of representation theory in enabling efficient optimization and improved generalization of deep learning even in domains with approximate or unknown symmetry. This project pursues three lines of research that will broaden the impact of representation theory in deep learning beyond strict inductive biases. The first is the trade-off between the degree of symmetry in the model and the degree of symmetry in the domain. This line of research will study networks that combine equivariant and non-equivariant features. The second line of research will examine learning symmetry directly from data to improve generalization in domains without known symmetries. The third aim is to develop a theoretical basis for deep learning using quiver representations. This perspective reveals the symmetry of the structure of deep-learning models themselves, through their parameter spaces, even when the domains have no obvious symmetry.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
在过去的十年中,深度学习对整个社会产生了变革性的影响,然而,进步往往依赖于启发式方法、海量数据和强大的计算能力,这伴随着有限的理论理解,有时会导致泛化失败和脆弱性。该项目将通过使用表示理论为深度学习奠定坚实的理论基础来解决这些局限性,对称性的数学研究在人类推理中发挥着关键作用,从而更好地理解对称性在深度学习中的作用。将解锁多种改进模型。其中包括可以从科学知识而不仅仅是原始数据中学习的模型、具有可靠、有保证性能的模型,以及可以像人类一样轻松地重新组合已经学习的模式的模型,以更快地推广到新情况的明确目标。该项目旨在扩大对深度学习为何有效的研究。为此,研究人员将把研究融入到教育中,并为科学界代表性不足的群体的高中生建立一个导师计划。该研究的目标是了解深度学习的作用。表示理论可实现高效优化和改进泛化即使在具有近似或未知对称性的领域中,该项目也进行了三方面的研究,这些研究将扩大表示理论在深度学习中的影响,超越严格的归纳偏差。该研究领域将研究结合等变和非等变特征的网络,第二个研究领域将直接从数据中学习对称性,以提高未知对称性领域的泛化能力。开发一个这种观点揭示了深度学习模型本身结构的对称性,即使域没有明显的对称性。该奖项反映了 NSF 的法定使命,并被认为是值得的。通过使用基金会的智力优势和更广泛的影响审查标准进行评估来提供支持。

项目成果

期刊论文数量(12)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Integrating Symmetry into Differentiable Planning with Steerable Convolutions
将对称性集成到具有可导卷积的可微规划中
Approximately Equivariant Networks for Imperfectly Symmetric Dynamics
不完全对称动力学的近似等变网络
  • DOI:
  • 发表时间:
    2022-01
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Wang, Rui;Walters, Robin;Yu, Rose
  • 通讯作者:
    Yu, Rose
On robot grasp learning using equivariant models
使用等变模型进行机器人抓取学习
  • DOI:
    10.1007/s10514-023-10112-w
  • 发表时间:
    2023-07
  • 期刊:
  • 影响因子:
    3.5
  • 作者:
    Zhu, Xupeng;Wang, Dian;Su, Guanang;Biza, Ondrej;Walters, Robin;Platt, Robert
  • 通讯作者:
    Platt, Robert
The Surprising Effectiveness of Equivariant Models in Domains with Latent Symmetry
等变模型在具有潜在对称性的域中的惊人有效性
Equivariant Transporter Network
等变转运网络
  • DOI:
  • 发表时间:
    2022-01
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Haojie Huang;Dian Wang;Robin Walters;Robert Platt
  • 通讯作者:
    Robert Platt
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Robin Walters其他文献

Understanding the Mechanism behind Data Augmentation’s Success on Image-based RL
了解基于图像的 RL 数据增强成功背后的机制
The QR decomposition for radial neural networks
径向神经网络的 QR 分解
  • DOI:
    10.1049/mia2.12265
  • 发表时间:
    2024-09-13
  • 期刊:
  • 影响因子:
    0
  • 作者:
    I. Ganev;Robin Walters
  • 通讯作者:
    Robin Walters
The Bernstein-Sato b-Function of the Space of Cyclic Pairs
循环对空间的 Bernstein-Sato b 函数
  • DOI:
    10.4171/prims/155
  • 发表时间:
    2014-03-03
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Robin Walters
  • 通讯作者:
    Robin Walters
Relaxed Octahedral Group Convolution for Learning Symmetry Breaking in 3D Physical Systems
用于学习 3D 物理系统中对称性破缺的松弛八面体群卷积
  • DOI:
    10.48550/arxiv.2310.02299
  • 发表时间:
    2024-09-14
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Rui Wang;Robin Walters;Tess E. Smidt
  • 通讯作者:
    Tess E. Smidt
Inductive Link Prediction in Static and Temporal Graphs for Isolated Nodes
孤立节点的静态和时间图中的归纳链路预测
  • DOI:
    10.1016/j.ipm.2003.09.003
  • 发表时间:
    2024-09-14
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Ayan Chatterjee;Robin Walters;Giulia Menichetti;T. Eliassi
  • 通讯作者:
    T. Eliassi

Robin Walters的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Robin Walters', 18)}}的其他基金

PostDoctoral Research Fellowship
博士后研究奖学金
  • 批准号:
    1503050
  • 财政年份:
    2015
  • 资助金额:
    $ 66.12万
  • 项目类别:
    Fellowship Award

相似国自然基金

超大规模MIMO系统信道状态信息获取与无线传输理论研究
  • 批准号:
    62371180
  • 批准年份:
    2023
  • 资助金额:
    49 万元
  • 项目类别:
    面上项目
基于深度理解的大规模互联网虚假新闻检测研究
  • 批准号:
    62302333
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
新型电力系统中可再生能源大规模利用的建模及激励机制研究
  • 批准号:
    72304114
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
大规模基因预训练模型及其在基因结构与功能研究中的应用
  • 批准号:
    62372098
  • 批准年份:
    2023
  • 资助金额:
    50 万元
  • 项目类别:
    面上项目
大规模集成超表面高效逆向设计方法研究
  • 批准号:
    12304436
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目

相似海外基金

Collaborative Research: DMS/NIGMS 1: Simulating cell migration with a multi-scale 3D model fed by intracellular tension sensing measurements
合作研究:DMS/NIGMS 1:使用由细胞内张力传感测量提供的多尺度 3D 模型模拟细胞迁移
  • 批准号:
    2347956
  • 财政年份:
    2024
  • 资助金额:
    $ 66.12万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Medium: Enabling Graphics Processing Unit Performance Simulation for Large-Scale Workloads with Lightweight Simulation Methods
合作研究:SHF:中:通过轻量级仿真方法实现大规模工作负载的图形处理单元性能仿真
  • 批准号:
    2402804
  • 财政年份:
    2024
  • 资助金额:
    $ 66.12万
  • 项目类别:
    Standard Grant
Collaborative Research: OAC Core: Distributed Graph Learning Cyberinfrastructure for Large-scale Spatiotemporal Prediction
合作研究:OAC Core:用于大规模时空预测的分布式图学习网络基础设施
  • 批准号:
    2403313
  • 财政年份:
    2024
  • 资助金额:
    $ 66.12万
  • 项目类别:
    Standard Grant
Collaborative Research: OAC Core: Large-Scale Spatial Machine Learning for 3D Surface Topology in Hydrological Applications
合作研究:OAC 核心:水文应用中 3D 表面拓扑的大规模空间机器学习
  • 批准号:
    2414185
  • 财政年份:
    2024
  • 资助金额:
    $ 66.12万
  • 项目类别:
    Standard Grant
Collaborative Research: Resilience, Experimentation, and Collapse in Small-Scale Fisheries
合作研究:小规模渔业的恢复力、实验和崩溃
  • 批准号:
    2312167
  • 财政年份:
    2024
  • 资助金额:
    $ 66.12万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了