PCクラスタにおける大規模並列入出力に関する研究

PC集群大规模并行输入输出研究

• 批准号: 15700079
• 负责人: 辻田 祐一
• 金额: $ 2.5万
• 依托单位: Kinki University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-15700079/
• 关键词: Stampi; MPI-I; O; PVFS; circular buffer; parallel netCDF; ノンブロッキング入出力; マルチスレッド; 0; 非同期入出力

PCクラスタにおける大規模並列入出力を実現するため、日本原子力研究開発機構システム計算科学センターで開発された異機種計算機間通信ライブラリStampiに、新たにPCクラスタで大規模並列入出力を行うための機能拡張と性能評価を行った。PCクラスタで利用可能な並列ファイルシステムであるPVFSは大規模な並列入出力機能を提供するが、異なる計算機からは利用できない。そこでStampiの持つ計算機間入出力機能を用い、PVFSへのリモート入出力機能を実現した。計算機間の入出力はリモート計算機上に起動した入出力を行うMPI-I/Oプロセスにより行われる。PVFSへの入出力はUNIXが提供する入出力関数とPVFSが提供するネイティブな入出力関数の両方が利用できるが、計算機間のデータ通信がボトルネックになる問題を抱えていた。そこで、MPI-I/Oプロセスに循環バッファ機構を導入した。この循環バッファは、各バッファ長とバッファの段数がユーザ・プログラムから変更できるようになっており、この二つのパラメタを変更し、計算機間入出力の性能が向上する組み合わせを調査し、最適な組み合わせを探した。この性能評価により、この循環バッファを用いることにより、循環バッファが保持できるデータ長以内であれば、このバッファに入出力操作並びに通信待ちになるデータを一時的に保持する事が出来、全体の性能が向上することを実証した。さらに数値計算で共通データ形式をサポートする入出力インタフェースでも利用可能にするために開発されたparallel netCDFインタフェースによる計算機間入出力機能について基本的な入出力関数の実装を試みた。さらにその性能を評価し、その有用性を実証すると共に、問題点を洗い出した。

为了实现PC集群中的大规模并行输入/输出，日本原子能机构系统计算科学中心开发的异构计算机之间的通信库Stampi新增了一个功能，可以在PC集群中进行大规模并行输入/输出。我们进行了PC集群的扩展和性能评估。 PVFS是PC集群上可用的并行文件系统，提供大规模并行I/O能力，但不能在不同计算机上使用。因此，我们利用Stampi的计算机间输入/输出功能来实现对PVFS的远程输入/输出。计算机之间的输入/输出由在远程计算机上启动并执行输入/输出的MPI-I/O进程执行。对于PVFS的输入/输出，UNIX提供的输入/输出功能和PVFS提供的本机输入/输出功能都可以使用，但是存在计算机之间的数据通信成为瓶颈的问题。因此，我们在MPI-I/O过程中引入了循环缓冲机制。该循环缓冲器允许从用户程序改变每个缓冲器的长度和缓冲器级的数量，通过改变这两个参数，我们研究提高计算机之间的输入/输出性能的组合，并找到最佳组合I。寻找它。该性能评估表明，通过使用该循环缓冲区，可以暂时保存该缓冲区中等待输入/输出操作和通信的数据，只要数据长度在循环缓冲区可以保存的数据长度之内，事实证明，这可以提高整体性能。此外，我们尝试使用并行netCDF接口来实现计算机间输入/输出功能的基本输入/输出功能，该接口的开发是为了在数值计算中使用支持通用数据格式的输入/输出接口。此外，我们评估了它的性能，证明了它的实用性，并发现了问题。

项目成果

MPI-I/O Operations to a Remote Computer Using Java

使用 Java 对远程计算机进行 MPI-I/O 操作

• 发表时间: 2005
• 期刊: Proceedings of the 11th International Conference on Parallel and Distributed Systems (ICPADS 2005), Volume II Workshops (IEEE Computer Society Press)
• 作者: Yuichi Tsujita;Yuichi Tsujita
• 通讯作者: Yuichi Tsujita

MPI-I/O with a Shared File Pointer Using a Parallel Virtual File System in Remote I/O Operations

具有共享文件指针的 MPI-I/O 在远程 I/O 操作中使用并行虚拟文件系统

• 发表时间: 2004
• 期刊: Distributed and Parallel Systems, Cluster and Grid Computing, Kluwer International Series in Engineering and Computer Science, Springer 777
• 作者: Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;辻田 祐一;Yuichi Tsujita;辻田 祐一;Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita
• 通讯作者: Yuichi Tsujita

Effective Overlap of Computation with I/O Operations in Remote MPI-I/O Operations Using a Multithreaded I/O Mechanism

使用多线程 I/O 机制实现远程 MPI-I/O 操作中计算与 I/O 操作的有效重叠

• 发表时间: 2005
• 期刊: Proceedings of Parallel and Distributed Computing and Networks (PDCN2005), ACTA Press
• 作者: Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;辻田 祐一;Yuichi Tsujita
• 通讯作者: Yuichi Tsujita

辻田 祐一: "異機種計算機間通信ライブラリStampiにおける非同期I/O操作"情報処理学会研究報告. Vol. 2004 No. 20. 151-156 (2004)

Yuichi Tsujita：“异构计算机通信库 Stampi 中的异步 I/O 操作”日本信息处理学会研究报告 2004 年第 20 卷 151-156（2004）。

Realizing Effective MPI-I/O to a Remote Computer Using a Parallel Virtual File System

使用并行虚拟文件系统实现远程计算机的有效 MPI-I/O

• 发表时间: 2006
• 期刊: IEICE Transactions on Information and Systems E89-D, No.2
• 作者: Yuichi Tsujita