Collaborative Reserach: SHF:Medium: Analog EDA-Inspired Methods for Efficient and Robust Neural Network Designs

协作研究:SHF:Medium:用于高效、鲁棒神经网络设计的模拟 EDA 启发方法

基本信息

  • 批准号:
    2107373
  • 负责人:
  • 金额:
    $ 30.31万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Continuing Grant
  • 财政年份:
    2021
  • 资助国家:
    美国
  • 起止时间:
    2021-07-15 至 2025-06-30
  • 项目状态:
    未结题

项目摘要

Deep neural networks have achieved great success in many engineering fields including, but not limited to, image classification, speech recognition, recommendation systems and autonomous driving. However, they suffer from two major challenges. Firstly, many neural network models are not robust, i.e. a neural network could produce inaccurate results when the input data experiences a very small amount of perturbation. Secondly, the huge cost of generating and deploying large-size neural networks limits their applications in resource-constrained platforms (e.g. mobile devices and robots). The research team notices that there is a strong mathematical connection between certain types of neural networks and analog integrated circuits. It is also known that the EDA (electronic design automation) field has 50 years of successful history of modeling, simulating, verifying and optimizing analog integrated circuits. Therefore, this project aims to substantially enrich the algorithms and theoretical understanding of neural networks by leveraging the principled approaches in the EDA community. This research will support the cross-disciplinary development of a diverse cohort of graduate and undergraduate students at the University of California at Santa Barbara, the University of California at San Diego, and the Massachusetts Institute of Technology. Several graduate-level courses on computational methods, data science and artificial intelligence are being created or enriched. The research team willis also collaborating with industry to ensure effective technology transfers.This project focuses on certain types of deep neural networks (e.g., residual neural networks, recurrent neural networks and normalizing flows) that can be described as ordinary differential equations. The technical aims of the project are divided into three thrusts. The first thrust investigates the training and compression algorithms of deep neural networks from circuit simulation and modeling perspectives. Specifically, parallel training algorithms are being developed for neural networks by borrowing the idea from parallel circuit simulation. Hardware-friendly neural-network compression algorithms are being developed from the perspective of circuit model order reduction, thereby enabling energy-efficient and real-time inference of deep neural networks. The second thrust investigates probabilistic and accurate verification techniques for the robustness of deep neural networks from circuit uncertainty quantification perspectives. Specifically, high-confidence and tighter verification bounds are being developed to describe the reachable set of a deep neural network by leveraging the hierarchical and non-Monte-Carlo techniques in analog circuit uncertainty quantification. The third thrust aims to improve the robustness of a deep neural network from the perspective of analog circuit yield optimization. In this final thrust, two ideas are being explored: (1) pre-silicon yield optimization techniques for robust neural network training, and (2) post-silicon self-healing techniques for robustness improvement of a trained neural network.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
深度神经网络在许多工程领域取得了巨大成功,包括但不限于图像分类、语音识别、推荐系统和自动驾驶。然而,他们面临两大挑战。首先,许多神经网络模型并不稳健,即当输入数据经历非常少量的扰动时,神经网络可能会产生不准确的结果。其次,生成和部署大型神经网络的巨大成本限制了它们在资源受限平台(例如移动设备和机器人)中的应用。研究小组注意到,某些类型的神经网络和模拟集成电路之间存在很强的数学联系。据了解,EDA(电子设计自动化)领域拥有50年的模拟集成电路建模、仿真、验证和优化的成功历史。因此,该项目旨在通过利用 EDA 社区的原则方法来大幅丰富神经网络的算法和理论理解。这项研究将支持加州大学圣巴巴拉分校、加州大学圣地亚哥分校和麻省理工学院的不同研究生和本科生的跨学科发展。一些关于计算方法、数据科学和人工智能的研究生课程正在创建或丰富。研究团队还将与业界合作,以确保有效的技术转让。该项目重点研究某些类型的深度神经网络(例如残差神经网络、循环神经网络和归一化流),这些网络可以被描述为常微分方程。该项目的技术目标分为三个主旨。第一个主旨从电路仿真和建模的角度研究深度神经网络的训练和压缩算法。具体来说,通过借鉴并行电路模拟的思想,正在为神经网络开发并行训练算法。硬件友好的神经网络压缩算法正在从电路模型降阶的角度进行开发,从而实现深度神经网络的节能和实时推理。第二个主旨从电路不确定性量化的角度研究深度神经网络鲁棒性的概率和精确验证技术。具体来说,通过利用模拟电路不确定性量化中的分层和非蒙特卡罗技术,正在开发高置信度和更严格的验证界限来描述深度神经网络的可达集。第三个推力旨在从模拟电路良率优化的角度提高深度神经网络的鲁棒性。在这最后的推动力中,正在探索两个想法:(1)用于鲁棒神经网络训练的投片前良率优化技术,以及(2)用于提高经过训练的神经网络的鲁棒性的投片后自我修复技术。该奖项反映了 NSF 的法定使命,并通过使用基金会的智力价值和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(9)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Revisiting Contrastive Learning through the Lens of Neighborhood Component Analysis: an Integrated Framework
通过邻域成分分析的视角重新审视对比学习:综合框架
  • DOI:
    10.7936/k7xs5tsp
  • 发表时间:
    2021-12-09
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Ching;Jeet Mohapatra;Sijia Liu;Pin;Lucani E. Daniel;Lily Weng
  • 通讯作者:
    Lily Weng
SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data
SynBench:使用合成数据对预训练表示进行与任务无关的基准测试
  • DOI:
    10.48550/arxiv.2210.02989
  • 发表时间:
    2022-10-06
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Ching;Pin;Jeet Mohapatra;Payel Das;Lucani E. Daniel
  • 通讯作者:
    Lucani E. Daniel
Fast Convergence for Unstable Reinforcement Learning Problems by Logarithmic Mapping
通过对数映射快速收敛不稳定强化学习问题
  • DOI:
  • 发表时间:
    2022-07
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Zhang, Wang;Nguyen, Lam M.;Das, Subhro;Megretski, Alexandre;Daniel, Luca;Weng, Tsui
  • 通讯作者:
    Weng, Tsui
ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction
ConCerNet:基于对比学习的自动守恒定律发现和可信动力系​​统预测框架
  • DOI:
    10.48550/arxiv.2302.05783
  • 发表时间:
    2023-02-11
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Wang Zhang;Tsui;Subhro Das;A. Megretski;Lucani E. Daniel;Lam M. Nguyen
  • 通讯作者:
    Lam M. Nguyen
Revisiting Contrastive Learning through the Lens of Neighborhood Component Analysis: an Integrated Framework
通过邻里成分分析的视角重新审视对比学习:一个综合框架
  • DOI:
  • 发表时间:
    2022-01
  • 期刊:
  • 影响因子:
    0
  • 作者:
    C
  • 通讯作者:
    C
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Luca Daniel其他文献

Across-task binding: The development of a representation in learning a continuous movement sequence.
跨任务绑定:学习连续运动序列的表示的发展。
  • DOI:
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    2.1
  • 作者:
    Stefan Panzer;Christina Pfeifer;Luca Daniel;R. Gaschler;Hilde Haider;Charles H Shea
  • 通讯作者:
    Charles H Shea
Modelling and experimental verification of a single phase three-dimensional lightweight locally resonant elastic metamaterial with complete low frequency bandgap
具有完全低频带隙的单相三维轻质局部谐振弹性超材料建模与实验验证
Guaranteed passive balancing transformations for model order reduction
有保证的被动平衡转换以减少模型阶数
Fast and accurate tensor completion with total variation regularized tensor trains
使用全变分正则化张量序列快速准确地完成张量
Guaranteed Passive Joel PhilliDs Balancin ! Order Ret Transformations for Model luction
保证被动 Joel PhilliDs Balancin !
  • DOI:
  • 发表时间:
    2004
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Luca Daniel;Miauel Silveira
  • 通讯作者:
    Miauel Silveira

Luca Daniel的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

相似国自然基金

面向5G通信的超高频FBAR耗散机理和耗散稳定性研究
  • 批准号:
    12302200
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
衔接蛋白SHF负向调控胶质母细胞瘤中EGFR/EGFRvIII再循环和稳定性的功能及机制研究
  • 批准号:
    82302939
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
宽运行范围超高频逆变系统架构拓扑与调控策略研究
  • 批准号:
    52377175
  • 批准年份:
    2023
  • 资助金额:
    50 万元
  • 项目类别:
    面上项目
超高频同步整流DC-DC变换器效率优化关键技术研究
  • 批准号:
    62301375
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
超高频光声频谱渐进式调制下的光声显微成像轴向分辨率提升研究
  • 批准号:
    62265011
  • 批准年份:
    2022
  • 资助金额:
    34 万元
  • 项目类别:
    地区科学基金项目

相似海外基金

HBxを標的としたB型肝発癌抑止に関する創薬研究
HBx抑制B型肝癌发生的药物发现研究
  • 批准号:
    24K11165
  • 财政年份:
    2024
  • 资助金额:
    $ 30.31万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
心臓再同期療法適応症例における刺激伝導系ペーシング 多施設共同前向き観察研究
适合接受心脏再同步治疗的患者的传导系统起搏:一项多中心前瞻性观察研究
  • 批准号:
    24K11250
  • 财政年份:
    2024
  • 资助金额:
    $ 30.31万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
遺伝学的手法による心房細動のリスク因子及び性差による発症の違いに関する解析研究
利用遗传学方法分析房颤危险因素及发病性别差异
  • 批准号:
    24K11264
  • 财政年份:
    2024
  • 资助金额:
    $ 30.31万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
LUBACによるTNFRシグナル修飾を利用した悪性リンパ腫の治療研究
LUBAC 修饰 TNFR 信号治疗恶性淋巴瘤的研究
  • 批准号:
    24K11558
  • 财政年份:
    2024
  • 资助金额:
    $ 30.31万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
新規リコンビナント免疫グロブリン製剤の開発と臨床応用を目指す研究
新型重组免疫球蛋白制剂的开发及临床应用研究
  • 批准号:
    24K11589
  • 财政年份:
    2024
  • 资助金额:
    $ 30.31万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了