Extended MapReduce framework with distributed masters for high-reliablity and high-performance

具有分布式主站的扩展 MapReduce 框架，可实现高可靠性和高性能

• 批准号: 23700036
• 负责人: OKITA Masao
• 金额: $ 2.75万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2011
• 资助国家: 日本
• 起止时间: 2011 至 2013
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-23700036/
• 关键词: 並列処理・分散処理; MapReduce; 並列分散処理; 高性能計算; PageRank; 耐故障性

To improve MapReduce, a popular large-scale distributed programming framework, we developed a high-reliable framework and techniques for accelerating a MapReduce application.Firstly, we extend an existing MapReduce framework to improving fault-tolerance. In the existing framework, the master computer is the single point of failure. Our extended framework provides multiple master computers and switches them to avoid a system failure.Secondly, we developed optimizing techniques for intermediate data processing to improve application performance. One of our technique reduces the amount of intermediate data by compressing data from an alternative viewpoint. Another technique reduces intermediate data transfer by improving data locality in task assignment.

为了改善MAPREDUCE，这是一个流行的大型分布式编程框架，我们开发了一种高可靠的框架和技术来加速MapReduce应用程序。首先，我们将现有的MapReduce框架扩展到改善耐受耐受性。在现有框架中，主计算机是单点故障。我们的扩展框架提供了多台主计算机并切换它们以避免系统故障。第二，我们开发了用于中间数据处理的技术，以提高应用程序性能。我们的技术之一通过从替代角度压缩数据来减少中间数据的量。另一种技术通过改善任务分配中的数据局部性来减少中间数据传输。

项目成果

A Versatile Platform for Multilevel Modeling of Physiological Systems: SBML-PHML Hybrid Modeling and Simulation

• DOI: 10.14326/abe.3.50
• 发表时间: 2014-01-01
• 期刊: ADVANCED BIOMEDICAL ENGINEERING
• 影响因子: 1
• 作者: Asai, Yoshiyuki;Abe, Takeshi;Kitano, Hiroaki
• 通讯作者: Kitano, Hiroaki

Hadoopにおけるジョブトラッカの耐故障機能の検討

Hadoop中Job Tracker的容错功能检验

• 发表时间: 2011
• 作者: Kazuyuki Asada;Soichiro Hidaka;Hiroyuki Kato Zhenjiang Hu and Keisuke Nakano;黒松信行
• 通讯作者: 黒松信行

MapReduce を用いたグラフアプリケーションにおける重複メッセージの排除による高速化

通过消除重复消息，使用 MapReduce 加速图形应用程序

• 发表时间: 2013
• 作者: 黒松信行;置田真生;萩原兼一
• 通讯作者: 萩原兼一

生体モデルにおける数式の類似性に着目したOpenMPによる並列シミュレーションの検討

关注生物模型中数学公式相似性的OpenMP并行仿真研究

• 作者: 吉川禎;奥山倫弘;置田真生;浅井義之;安部武志;野村泰伸;八木哲也;萩原兼一
• 通讯作者: 萩原兼一

Hadoop の性能ボトルネックを特定するための実行トレース可視化ツール

用于识别 Hadoop 性能瓶颈的执行跟踪可视化工具

• 发表时间: 2012
• 作者: 古谷達朗;置田真生;萩原兼一
• 通讯作者: 萩原兼一