SHF: Small: A Hybrid NVM based Computing Architecture for Machine Learning Applications

SHF：小型：用于机器学习应用的基于混合 NVM 的计算架构

基本信息

批准号：
1908843
负责人：
Dong Dai
金额：
$ 49.76万
依托单位：
University of North Carolina at Charlotte
依托单位国家：
美国
项目类别：
Standard Grant
财政年份：
2019
资助国家：
美国
起止时间：
2019-10-01 至 2023-09-30
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=1908843&HistoricalAwards=false
关键词：
SHF Small Hybrid NVM based

项目摘要

Today, enterprises are increasingly looking inward at their huge stores of under-processed or throwaway data, treating them as resources to be mined. As such, an emergent field called memory-intensive computing has ignited interest among industry and academia, largely driven by various emerging non-volatile memory technologies (NVMs). Machine Learning (ML) applications are being targeted by memory-intensive computing, leveraging unique properties of ML applications to improve their distributed performance by orders of magnitude. It is therefore highly desirable for ML applications executing in such memory intensive computing environments to be efficient, flexible and scalable. ML applications crunch a lot of data from disk drives, increasing latency due to disk access delays. This project explores and designs new techniques that let ML applications fully exploit the benefits of persistence for intermediate data in NVMs, which significantly reduces disk I/Os and hence data processing times. This project also involves curriculum development, and provides more avenues to bring women, minority, and underrepresented students into research and graduate programs.This project focuses on an open challenge for memory intensive computing systems how to offer ML applications with high efficiency, low cost and more flexibility, especially under the heterogeneous environment. This project proposes a hybrid NVM based computing architecture with effective data sharing and communication strategy to optimize file management, resource allocation and data communication for ML applications. This research centers on two key designs: 1) a new file and data management system based on the hybrid NVM pool consisting of Byte and Block addressable devices; 2) an efficient data sharing and communication management among memories to guarantee data consistency in the hybrid NVM memory pool.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.

如今，企业越来越多地关注其大量未处理或丢弃的数据存储，将它们视为有待挖掘的资源。因此，一个名为内存密集型计算的新兴领域引起了业界和学术界的兴趣，这在很大程度上是由各种新兴非易失性内存技术（NVM）推动的。机器学习 (ML) 应用程序正在成为内存密集型计算的目标，利用 ML 应用程序的独特属性将其分布式性能提高几个数量级。因此，在这种内存密集型计算环境中执行的机器学习应用程序非常需要高效、灵活和可扩展。机器学习应用程序处理来自磁盘驱动器的大量数据，由于磁盘访问延迟而增加了延迟。该项目探索和设计新技术，让 ML 应用程序充分利用 NVM 中中间数据持久化的优势，从而显着减少磁盘 I/O ，从而减少数据处理时间。该项目还涉及课程开发，并提供更多途径让女性、少数族裔和代表性不足的学生参与研究和研究生课程。该项目重点关注内存密集型计算系统的开放挑战，即如何以高效率、低成本和低成本提供 ML 应用程序。更大的灵活性，特别是在异构环境下。该项目提出了一种基于混合 NVM 的计算架构，具有有效的数据共享和通信策略，以优化 ML 应用程序的文件管理、资源分配和数据通信。这项研究集中在两个关键设计上：1）基于由字节和块可寻址设备组成的混合 NVM 池的新文件和数据管理系统； 2）存储器之间高效的数据共享和通信管理，以保证混合NVM存储器池中的数据一致性。该奖项反映了NSF的法定使命，并通过使用基金会的智力价值和更广泛的影响审查标准进行评估，认为值得支持。

项目成果

期刊论文数量（10）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Data Placement Strategies for Data-Intensive Computing over Edge Clouds

边缘云上数据密集型计算的数据放置策略

DOI：
10.1109/ipccc51483.2021.9679438
发表时间：
2021-10
期刊：
40th IEEE International Performance Computing and Communications Conference
影响因子：
0
作者：
Wei, Xinliang;Mohaimenur Rahman, A B;Wang, Yu
通讯作者：
Wang, Yu

Quantum Assisted Scheduling Algorithm for Federated Learning in Distributed Networks

分布式网络联邦学习的量子辅助调度算法

DOI：
10.1109/icccn58024.2023.10230094
发表时间：
2023-07-01
期刊：
2023 32nd International Conference on Computer Communications and Networks (ICCCN)
影响因子：
0
作者：
Xinliang Wei;Lei Fan;Yuanxiong Guo;Yanmin Gong;Zhu Han;Yu Wang
通讯作者：
Yu Wang

Group-based Hierarchical Federated Learning: Convergence, Group Formation, and Sampling

基于组的分层联邦学习：收敛、组形成和采样

DOI：
10.1145/3605573.3605584
发表时间：
2023-08-07
期刊：
Proceedings of the 52nd International Conference on Parallel Processing
影响因子：
0
作者：
Jiyao Liu;Xinliang Wei;Xuanzhang Liu;Hongchang Gao;Yu Wang
通讯作者：
Yu Wang

Joint Participant Selection and Learning Scheduling for Multi-Model Federated Edge Learning

多模型联合边缘学习的联合参与者选择和学习调度

DOI：
10.1109/mass56207.2022.00081
发表时间：
2022-10-01
期刊：
2022 IEEE 19th International Conference on Mobile Ad Hoc and Smart Systems (MASS)
影响因子：
0
作者：
Xinliang Wei;Jiyao Liu;Yu Wang
通讯作者：
Yu Wang

A Shared Memory Cache Layer across Multiple Executors in Apache Spark

Apache Spark 中跨多个执行器的共享内存缓存层

DOI：
10.1109/bigdata50022.2020.9378179
发表时间：
2020-12
期刊：
2020 IEEE International Conference on Big Data (Big Data
影响因子：
0
作者：
Rang, Wei;Yang, Donglin;Cheng, Dazhao
通讯作者：
Cheng, Dazhao

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Dong Dai其他文献

Client-side Straggler-Aware I/O Scheduler for Object-based Parallel File Systems

用于基于对象的并行文件系统的客户端 Straggler-Aware I/O 调度程序

DOI：
10.1016/j.parco.2018.07.001
发表时间：
2018-05-16
期刊：
Parallel Comput.
影响因子：
0
作者：
Neda Tavakoli;Dong Dai;Yong Chen
通讯作者：
Yong Chen

Detecting Associations in Large Dataset on MapReduce

在 MapReduce 上检测大数据集中的关联

DOI：
10.1109/trustcom.2013.222
发表时间：
2013-07-16
期刊：
2013 12th IEEE International Conference on Trust, Security and Privacy in Computing and Communications
影响因子：
0
作者：
Dong Dai;Xi Li;Chao Wang;Junneng Zhang;Xuehai Zhou
通讯作者：
Xuehai Zhou