CRII: CNS: A Systematic Multi-Task Learning Framework for Improving Deep Learning Efficiency on Edge Platforms

CRII:CNS:用于提高边缘平台深度学习效率的系统多任务学习框架

基本信息

  • 批准号:
    2245765
  • 负责人:
  • 金额:
    $ 17.42万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2023
  • 资助国家:
    美国
  • 起止时间:
    2023-06-01 至 2025-05-31
  • 项目状态:
    未结题

项目摘要

Multi-task learning is a subfield of machine learning in which the data is trained with a shared model to solve different tasks simultaneously. Multi-task learning highly reduces the number of parameters in the machine learning models and thus reduces the computational and storage requirements. For example, there are multiple tasks to be done in real-time in self-driving cars, including object detection and depth estimation. If these tasks can be trained on a single model with shared parameters, the model size and the inference time can be highly reduced. This project aims to further compress the model used for multi-task learning as the model size of a single deep neural network is still a critical challenge to many computation systems, especially for edge platforms. This project proposes an approach to learn the difficulty of every task and maintain the performance of the most difficult task when compressing a multi-task learning model. It increases the potential in the compression rate with acceptable performance for all the tasks as the performance of the most difficult task needs to be guaranteed to provide a satisfactory user experience. This project also designs an efficient multi-task federated learning approach for edge platforms. It improves the convergence rate of multi-task federated learning and reduces the communication costs in every iteration. Finally, this project proposes to solve an algorithm-hardware co-design problem to maximize the implementation efficiency of the compressed multi-task DNN models on edge platforms.The files of compressed DNN models and the ideas on efficient DNN training and implementation may be useful to researchers who focus on improving the computation efficiency of DNN models on edge platforms and other hardware platforms.This project will involve undergraduate and graduate students in the research. The research achievements of this project will be incorporated into a current senior-level undergraduate course, a new planned advanced-level graduate course, and seminars for both undergraduate and graduate students. There are also planned research demonstrations during the workshops and summer camps for the K-12 students.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
多任务学习是机器学习的一个子字段,其中数据经过共享模型培训,以同时解决不同的任务。多任务学习高度减少了机器学习模型中的参数数量,从而减少了计算和存储要求。例如,在自动驾驶汽车中实时执行多个任务,包括对象检测和深度估计。如果可以在具有共享参数的单个模型上训练这些任务,则可以大大减少模型大小和推理时间。该项目旨在进一步压缩用于多任务学习的模型,因为单个深神经网络的模型大小仍然是许多计算系统的关键挑战,尤其是对于边缘平台。该项目提出了一种学习每项任务难度的方法,并在压缩多任务学习模型时保持最困难的任务的性能。它增加了压缩率的潜力,所有任务的可接受性能,因为需要保证最困难的任务的性能以提供令人满意的用户体验。该项目还为边缘平台设计了有效的多任务联合学习方法。它提高了多任务联合学习的融合率,并降低了每次迭代的沟通成本。最后,该项目提议解决算法 - 硬件共同设计问题,以最大化压缩的多任务DNN模型的实施效率。压缩DNN模型的文件以及有效的DNN培训和实施的想法可能对研究人员有用的研究人员可以专注于在Edge Platferts和其他方面的范围内的研究人员,以提高平台的计算效率。 研究。该项目的研究成就将纳入当前的高级本科课程,新计划的高级研究生课程以及本科生和研究生的研讨会。 在针对K-12学生的研讨会和夏令营期间,也有计划的研究演示。该奖项反映了NSF的法定任务,并使用基金会的知识分子优点和更广泛的影响审查标准,被认为值得通过评估。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Tianyun Zhang其他文献

Interfacial shear properties between water-castable engineered cementitious composites (WECC) and concrete substrate
  • DOI:
    10.1016/j.conbuildmat.2024.139237
  • 发表时间:
    2024-12-13
  • 期刊:
  • 影响因子:
  • 作者:
    Tianyun Zhang;Shuling Gao
  • 通讯作者:
    Shuling Gao
PDCD4 deficiency in hepatocytes exacerbates nonalcoholic steatohepatitis through enhanced MHC class II transactivator expression
  • DOI:
    10.1016/j.metabol.2024.156036
  • 发表时间:
    2024-12-01
  • 期刊:
  • 影响因子:
  • 作者:
    Kaikai Lu;Lei He;Zizhen Guo;Mengda Li;Xiaona Cheng;Sitong Liu;Tianyun Zhang;Qian Chen;Rong Zhao;Luyun Yang;Xiaodan Wu;Kexin Cheng;Peihai Cao;Litao Wu;Muhammad Shahzad;Minghua Zheng;Lianying Jiao;Yue Wu;Dongmin Li
  • 通讯作者:
    Dongmin Li
A highly pyridinic N-doped carbon from macroalgae with multifunctional use toward CO2 capture and electrochemical applications
来自大型藻类的高度吡啶氮掺杂碳,具有用于二氧化碳捕获和电化学应用的多功能用途
  • DOI:
    10.1007/s10853-018-2927-7
  • 发表时间:
    2018-09
  • 期刊:
  • 影响因子:
    4.5
  • 作者:
    Meng Ren;Tianyun Zhang;Ying Wang;Ziyang Jia;Jinjun Cai
  • 通讯作者:
    Jinjun Cai
A high-performance sodium-ion hybrid capacitor constructed by metal organic frameworks-derived anode and cathode materials
由金属有机骨架衍生的阳极和阴极材料构建的高性能钠离子混合电容器
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    19
  • 作者:
    Hongxia Li;Junwei Lang;Shulai Lei;Jiangtao Chen;Kunjie Wang;Lingyang Liu;Tianyun Zhang;Weisheng Liu;Xingbin Yan
  • 通讯作者:
    Xingbin Yan
CO<sub>2</sub> derived ABA triblock all-polycarbonate thermoplastic elastomer with ultra-high elastic recovery
  • DOI:
    10.1016/j.jcou.2024.102853
  • 发表时间:
    2024-07-01
  • 期刊:
  • 影响因子:
  • 作者:
    Yansong Ren;Tianyun Zhang;Shuanjin Wang;Dongmei Han;Sheng Huang;Hui Guo;Min Xiao;Yuezhong Meng
  • 通讯作者:
    Yuezhong Meng

Tianyun Zhang的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

相似国自然基金

NE能神经递质系统在EV71感染CNS过程中导致远期认知功能障碍的机理研究
  • 批准号:
    31700931
  • 批准年份:
    2017
  • 资助金额:
    25.0 万元
  • 项目类别:
    青年科学基金项目
EV71感染所引起的CNS中免疫反应与神经内分泌系统相互作用在病毒致病过程中的机理研究
  • 批准号:
    31370192
  • 批准年份:
    2013
  • 资助金额:
    82.0 万元
  • 项目类别:
    面上项目
NK细胞介导的内源性ACh抗炎通路调控CNS自身免疫反应的机制研究
  • 批准号:
    81273287
  • 批准年份:
    2012
  • 资助金额:
    70.0 万元
  • 项目类别:
    面上项目
活体显微镜研究CXC趋化因子在CNS中招募中性粒细胞
  • 批准号:
    81172796
  • 批准年份:
    2011
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
Tc-99m标记的CNS斑块等受体显像剂及介导系统的研究
  • 批准号:
    20471011
  • 批准年份:
    2004
  • 资助金额:
    22.0 万元
  • 项目类别:
    面上项目

相似海外基金

CRII: CNS: IoT-aware Federated On-Device Intelligence
CRII:CNS:物联网感知的联合设备上智能
  • 批准号:
    2418308
  • 财政年份:
    2024
  • 资助金额:
    $ 17.42万
  • 项目类别:
    Standard Grant
CNS Core: Small: Core Scheduling Techniques and Programming Abstractions for Scalable Serverless Edge Computing Engine
CNS Core:小型:可扩展无服务器边缘计算引擎的核心调度技术和编程抽象
  • 批准号:
    2322919
  • 财政年份:
    2024
  • 资助金额:
    $ 17.42万
  • 项目类别:
    Standard Grant
CRII: CNS: Supporting Resilient Perception in Autonomous Cyber-physical Systems
CRII:CNS:支持自主网络物理系统中的弹性感知
  • 批准号:
    2348349
  • 财政年份:
    2024
  • 资助金额:
    $ 17.42万
  • 项目类别:
    Standard Grant
CNS Core: Small: Network Wide Sensing by Leveraging Cellular Communication Networks
CNS 核心:小型:利用蜂窝通信网络进行全网络传感
  • 批准号:
    2343469
  • 财政年份:
    2024
  • 资助金额:
    $ 17.42万
  • 项目类别:
    Standard Grant
CNS炎症における抗炎症性アストロサイト誘導のパスウェイ解析から見出される創薬標的
通过中枢神经系统炎症中抗炎星形胶质细胞诱导的通路分析发现药物发现靶点
  • 批准号:
    23K27330
  • 财政年份:
    2024
  • 资助金额:
    $ 17.42万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了