Eager: Collaborative Research: DiRecMR: Reconciling the Dichotomy of MapReduce for Efficient Speculation and Resilience

Eager：协作研究：DiRecMR：调和 MapReduce 的二分法以实现高效推测和弹性

基本信息

批准号：
1744317
负责人：
Xian-He Sun
金额：
$ 8万
依托单位：
Illinois Institute of Technology
依托单位国家：
美国
项目类别：
Standard Grant
财政年份：
2017
资助国家：
美国
起止时间：
2017-08-01 至 2018-12-31
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=1744317&HistoricalAwards=false
关键词：
Eager Collaborative Research DiRecMR Reconciling

项目摘要

MapReduce systems have great capabilities in processing large amounts of data and have become a research target for governmental, academic and industrial organizations. However, their task management and fault handling policies do not recognize a tacit dichotomy that exists between its inherent two phases (map and reduce). This results in a number of critical issues, such as resource underutilization, prolonged task execution, myopic speculation, and failure amplifications. This project adopts a transformative combination of theoretical analysis, simulation and modeling, and systems design and implementation approaches in order to reconcile the dichotomy of MapReduce. The techniques from this project are potentially impactful to all organizations that deploy MapReduce systems and support Big Data applications from business analytics, social networks, and scientific computing research.Instead of empirical analysis of system behaviors to pinpoint resource management and task scheduling abnormalities, this project takes a different perspective on MapReduce efficiency and resilience, and formulates a Markov chain for the transition of Hadoop MapReduce containers, and a fork-join model for the queueing of map and reduce tasks. These formulations facilitate a theoretical analysis of the dichotomy of MapReduce and help shed light on its impact to asymptotic behaviors of large-scale workloads. This project aims to blend simulation and real system development together, and addresses the myopic speculation caused by dichotomy, liberates the scope of task speculation, and ensures task resilience without failure amplifications. These techniques are developed to enhance MapReduce platforms such as YARN and Spark. Besides the target on MapReduce systems, the research from this project addresses a general issue in distributed analytics environments.

MapReduce系统具有处理大量数据的强大能力，已成为政府、学术和工业组织的研究目标。然而，他们的任务管理和故障处理策略没有认识到其固有的两个阶段（映射和减少）之间存在的默认二分法。这导致了许多关键问题，例如资源利用不足、任务执行时间延长、短视推测和故障放大。该项目采用理论分析、仿真和建模以及系统设计和实现方法的变革性组合，以调和 MapReduce 的二分法。该项目的技术对部署 MapReduce 系统并支持业务分析、社交网络和科学计算研究的大数据应用程序的所有组织都有潜在影响。该项目不是对系统行为进行实证分析来查明资源管理和任务调度异常。从不同的角度看待MapReduce的效率和弹性，制定了用于Hadoop MapReduce容器转换的马尔可夫链，以及用于Map和Reduce任务排队的fork-join模型。这些公式有助于对 MapReduce 二分法进行理论分析，并有助于阐明其对大规模工作负载渐近行为的影响。该项目旨在将仿真与真实系统开发融合在一起，解决二分法造成的短视推测，解放任务推测的范围，确保任务弹性而不放大故障。这些技术的开发是为了增强 YARN 和 Spark 等 MapReduce 平台。除了 MapReduce 系统的目标之外，该项目的研究还解决了分布式分析环境中的普遍问题。

项目成果

期刊论文数量（5）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

SciDP: Support HPC and Big Data Applications via Integrated Scientific Data Processing

SciDP：通过集成科学数据处理支持 HPC 和大数据应用

DOI：
10.1109/cluster.2018.00023
发表时间：
2018-09-01
期刊：
2018 IEEE International Conference on Cluster Computing (CLUSTER)
影响因子：
0
作者：
Kun Feng;Xian;Xi Yang;Shujia Zhou
通讯作者：
Shujia Zhou

Hermes: A Heterogeneous-Aware Multi-Tiered Distributed I/O Buffering System

Hermes：异构感知的多层分布式 I/O 缓冲系统

DOI：
发表时间：
2018-06
期刊：
Proc. of 27th ACM International Symposium on High-Performance Parallel and Distributed Computing (HPDC
影响因子：
0
作者：
A. Kougkas; H. Devarajan
通讯作者：
H. Devarajan

Vidya: Performing Code-Block IO Characterization for Data Access Optimization

Vidya：执行代码块 IO 表征以优化数据访问

DOI：
发表时间：
2018-12
期刊：
and Analytics
影响因子：
0
作者：
Devarajan; Hariharan and
通讯作者：
Hariharan and

Vidya: Performing Code-Block IO Characterization for Data Access Optimization

Vidya：执行代码块 IO 表征以优化数据访问

DOI：
发表时间：
2018-12
期刊：
and Analytics
影响因子：
0
作者：
Devarajan; Hariharan and
通讯作者：
Hariharan and

IRIS: I/O Redirection via Integrated Storage

IRIS：通过集成存储进行 I/O 重定向

DOI：
发表时间：
2018-06
期刊：
Procs. of 32nd ACM International Conference on Supercomputing (ICS
影响因子：
0
作者：
A. Kougkas; H. Devarajan
通讯作者：
H. Devarajan

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Xian-He Sun其他文献

HARL: Optimizing Parallel File Systems with Heterogeneity-Aware Region-Level Data Layout

HARL：使用异构感知区域级数据布局优化并行文件系统

DOI：
10.1109/tc.2016.2637905
发表时间：
2017
期刊：
IEEE Transactions on Computers (TC, CCF A)
影响因子：
0
作者：
Shuibing He;Yang Wang;Xian-He Sun;Chengzhong Xu
通讯作者：
Chengzhong Xu

Optimizing Parallel I/O Accesses through Pattern-Directed and Layout-Aware Replication

通过模式导向和布局感知复制优化并行 I/O 访问

DOI：
10.1109/tc.2019.2946135
发表时间：
期刊：
IEEE Transactions on Computers (TC, CCF A, accepted)
影响因子：
0
作者：
Shuibing He;Yanlong Yin;Xian-He Sun;Xuechen Zhang;Zongpeng Li
通讯作者：
Zongpeng Li

HCDA: From Computational Thinking to a Generalized Thinking Paradigm

HCDA：从计算思维到广义思维范式

DOI：
发表时间：
期刊：
Communication of ACM
影响因子：
0
作者：
Yuhang Liu;Xian-He Sun;Yang Wang;Yungang Bao
通讯作者：
Yungang Bao

Enhancing Hybrid Parallel File System through Performance and Space-Aware Data layout

通过性能和空间感知数据布局增强混合并行文件系统

DOI：
10.1177/1094342016631610
发表时间：
2016
期刊：
International Journal of High Performance Computing Applications (IJHPCA, ESI)
影响因子：
0
作者：
Shuibing He;Yan Liu;Yang Wang;Xian-He Sun;Chuanhe Huang
通讯作者：
Chuanhe Huang