Hadoopに対し飛躍的性能向上を達成する大規模データ解析処理系の研究

研究比Hadoop实现大幅性能提升的大规模数据分析处理系统

• 批准号: 12J07965
• 负责人: 山田 浩之
• 金额: $ 1.15万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2012
• 资助国家: 日本
• 起止时间: 2012 至 2013
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12J07965/
• 关键词: 非同期I/O; カラムスト; MapReduce; 並列データ処理; 問合せ最適化; C-Store; Hadoop; カラムストア; データ処理

本年度は、前年度に開発した高多重非同期I/O化方式を適用したカラムストアエンジンならびにMapReduceエンジンにおいて、より大規模な環境での実験を進めた。カラムストアエンジンにおいては、72ディスクドライブを具備する計算機サーバおよび128台の計算機から構成されるストレージインテンシブな大規模クラスタシステムおいて、また、MapReduceエンジンにおいては128台の計算機から構成されるストレージインテンシブ大規模クラスタシステムにおいて、最大100倍以上の高速化の達成に成功し、両エンジンの有効性を明らかにした。また、カラムストアエンジンにおける遅延タプル再構築処理の非同期I/O化や、MapReduce処理エンジンにおけるネットワークも含めたI/O並列度の調整方式など、非同期I/O化方式の高度化に成功した。さらに、両エンジンにおいて、非同期I/O化方式を考慮したクエリ最適化方式、ならびに計算資源の最適調整方式等の検討および開発を進めた。また、年度前半から後半にかけては、開発を進めている両エンジンを用いて実データを利用した実証実験を行い、新たな課題を模索するとともに、実データに対する当該エンジンならびに当該非同期I/O化方式の有効性を明らかにした。年度後半には、研究成果を論文にまとめ、国内の学会において発表を行った。

今年，我们使用去年开发的高度复用异步I/O方法的列存储引擎和MapReduce引擎在更大规模的环境中进行了实验。列存储引擎采用由具有72个磁盘驱动器的计算机服务器和128台计算机组成的存储密集型大规模集群系统，MapReduce引擎采用由128台计算机组成的存储密集型大规模集群系统。大规模集群系统中，我们成功实现了高达 100 倍甚至更多的加速，证明了两种引擎的有效性。我们还成功地改进了异步I/O方法，例如列存储引擎中延迟元组重建处理的异步I/O，以及MapReduce处理引擎中包括网络在内的调整I/O并行度的方法。此外，对于这两个引擎，我们研究并开发了一种考虑异步I/O方法和计算资源优化调整方法的查询优化方法。此外，从上半年到下半年，我们将使用目前正在开发的两种引擎进行使用真实数据的演示实验，探索新的问题，并澄清真实数据的引擎和异步I/O方法的使用。的有效性下半年，研究成果被整理成论文并在国内学术会议上发表。

项目成果

Hadoopにおけるアウトオブオーダ型並列処理系の実装に関する一考察

Hadoop中乱序并行处理系统的实现研究

• 发表时间: 2013
• 作者: 山田浩之;合田和生;喜連川優
• 通讯作者: 喜連川優

Hadoopをはじめとする並列データ処理系へのアウトオブオーダ型実行方式の適用とその有効性の検証

乱序执行方法在Hadoop等并行数据处理系统中的应用及有效性验证

• 发表时间: 2014
• 期刊: 電子情報通信学会論文誌
• 作者: 山田浩之;合田和生;喜連川優
• 通讯作者: 喜連川優

128ノード規模のストレージインテンシブクラスタ環境におけるアウトオブオーダ型並列データ処理系の性能評価と実データを用いた有効性の検証

128节点存储密集型集群环境下乱序并行数据处理系统的性能评估及使用真实数据验证有效性

• 发表时间: 2014
• 作者: 山田浩之;合田和生;喜連川優
• 通讯作者: 喜連川優