大規模分散データの真に透過で効率的な共有を実現する分散共有配列システムの開発

开发分布式共享阵列系统，实现大规模分布式数据真正透明高效共享

• 批准号: 16016226
• 负责人: 清水 謙多郎
• 金额: $ 4.29万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-16016226/
• 关键词: ハイパフォーマンス・コンピューティング; ソフトウェア学; ネットワーク; 生体生命情報学; 並列計算; 分散共有メモリ; グリッドコンピューティング; ミドルウェア; 資源管理; ハイパフォーマンス・コンピューティング; ソフトウェア学; ネットワーク; 生体生命情報学; 並列計算; 分散共有メモリ; グリッドコンピューティング; ミドルウェア; 資源管理

本研究では、分散メモリ型システムを用いて巨大なメモリ領域を利用することができる、共有メモリプログラミングモデルにもとづく新しい並列プログラミング環境DSA(Distributed Shared Array)を開発する。DSAは、分散システムの上に、巨大なメモリ領域を仮想的に構築する。データの実体は、それぞれの計算機のメモリやディスクに分散して置かれるが、すべての計算機が、こうした物理的なデータの分散を意識しないで、グローバルなメモリ領域を共有できるようにすることにより、並列計算を行うプログラムの開発を容易にする。1台の計算機のメモリやディスクに格納しきれない巨大なデータも、この仮想的なメモリに置いて複数の計算機から共通に操作することができる。科学技術計算でよく用いられるベクトルや行列をこの巨大なメモリに格納して操作することにより、巨大なベクトルや行列を扱うプログラムも、分散システムの上でこれまでより簡単に開発できるようになり、しかも高速に実行できるようになる。データの実体は分散していても、利用者には、複数の計算機間で共有できるグローバルな配列が存在しているように見える。このような配列を「分散共有配列(DSA)」と呼んでいる。本研究では、DSAを、遺伝子クラスタリング、配列のマルチプルアラインメント、分子動力学計算など、生命情報科学の実際のアプリケーションに対して適用し、クラスタ型計算機上で性能評価を行い、分散するデータを効率的に操作・管理できること、MPIのプログラムと比較して、ノード数が増大してもスケーラブルな性能が得られることを確認し、本システムの有効性を実証した。その結果、数十台規模のクラスタシステムにおいて、高いスケーラビリティを実現した。

在这项研究中，我们将根据共享内存编程模型开发一个新的并行编程环境DSA（分布式共享数组），该模型允许使用分布式内存系统使用大型内存区域。 DSA实际上在分布式系统之上构建了巨大的内存区域。数据实体分布在每个计算机的整个内存和磁盘上，但是通过允许所有计算机共享全局内存区域而不意识到物理数据的分布，它促进了执行并行计算的程序的开发。无法存储在单个计算机的内存或磁盘中的巨大数据也可以存储在此虚拟内存中，并从多台计算机中运行。通过在科学和技术计算中使用的载体和矩阵存储和操纵矢量和矩阵，可以在分布式系统上比以前更容易地开发处理大量向量和矩阵的程序，并且可以以更快的速度执行。即使分发了实际数据，看来用户具有可以在多台计算机之间共享的全局数组。这样的数组称为“分布式共享数组（DSA）”。 In this study, DSA was applied to actual applications in bioinformation science, such as gene clustering, sequence multiple alignment, and molecular dynamics calculations, and performance evaluation was performed on a clustered computer, and distributed data can be efficiently manipulated and managed, and compared to MPI programs, scalable performance can be achieved even if the number of nodes increases, demonstrating the effectiveness of this system.结果，在数十个单元的集群系统中实现了高可扩展性。