ノードローカルな不揮発性メモリを考慮した大規模動的グラフ向けグラフストア基盤

考虑节点本地非易失性存储器的大规模动态图的图存储平台

• 批准号: 16J00317
• 负责人: 岩渕 圭太
• 金额: $ 1.09万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2016
• 资助国家: 日本
• 起止时间: 2016-04-22 至 2018-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16J00317/
• 关键词: 高性能計算; グラフ; ビッグデータ; 不揮発性メモリ

今年度は不揮発性メモリの活用方法について取り組んだ。具体的には、ユーザーアプリケーションレベルのページキャッシュ機構の設計を行った。本課題では、メインメモリの容量を拡張するために不揮発性メモリをDRAMの延長として活用することで、スーパーコンピュータなどの大規模システムの消費電力やコストを抑えることを狙っている。これまで不揮発性メモリ上にあるデータをメインメモリ（ＤＲＡＭ）上で操作するために既存のカーネルに実装されているメモリマップドファイル機構を使用してきた。この手法はストレージ上にあるファイルデータを操作する方法として広く一般的に使用されているが、グラフ処理などの大量のランダムなメモリアクセスが発生するイレギュラーアプリケーションでは既存のページキャッシュ機構を使用した場合、I/O性能に対して大幅なオーバヘッドが課される問題がある。そこで、この課題に対して、ユーザーアプリケーションレベルでのページキャッシュ機構の設計に取り組んだ。具体的には、ユーザーレベルにて確保したメモリスペース内でページキャッシュの管理とストレージデバイスとのI/O処理を行うことで、アプリケーションのメモリアクセスパターンに根付いたページの入れ替え処理を可能にし、ページの入れ替え処理にかかるオーバーヘッドを最小限に留めることを狙っている。今年度は年度内での辞退のため、現状ではこのライブラリの設計は初期段階であるが、今後もこの課題の研究を行うことで、大規模グラフ処理以外にも様々な大規模イレギュラーアプリケーションへの適応が可能なライブラリとなることが期待される。

今年，我们致力于如何利用非易失性记忆。具体而言，设计了用户应用级别的缓存机构。本期旨在通过使用非挥发性内存作为DRAM扩展主要内存能力来降低大规模系统（例如超级计算机）的功耗和成本。到目前为止，已使用内存映射的文件机制来在主内存（DRAM）上的非易失性内存上操作数据。尽管该技术被广泛用作操纵文件数据的方法，但需要大量随机内存访问（例如图形处理）的不规则应用程序存在一个问题，它使用现有的页面缓存机制来对I/O性能施加显着的开销。因此，在回应此问题时，我们致力于在用户应用程序级别设计页面缓存机制。具体而言，目的是管理页面缓存并使用在用户级别保留的存储空间内的存储设备进行I/O处理，从而可以替换植根于应用程序的存储器访问模式的页面，从而最大程度地减少页面替换处理中的开销。随着今年在财政年度的撤离，该图书馆的设计目前处于早期阶段，但是通过继续研究此问题，预计它将成为一个可以适应各种大规模不规则应用程序的图书馆，除了大规模的图形处理。

项目成果

Large-scale Dynamic Graph Processing on HPC Systems

HPC 系统上的大规模动态图处理

• 发表时间: 2017
• 作者: Keita Iwabuchi;Roger Pearce;Maya Gokhale;Satoshi Matsuoka
• 通讯作者: Satoshi Matsuoka

Towards a Distributed Large-Scale Dynamic Graph Data Store

• DOI: 10.1109/ipdpsw.2016.189
• 发表时间: 2016-05
• 期刊: 2016 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW)
• 作者: Keita Iwabuchi;Scott Sallinen;R. Pearce;B. V. Essen;M. Gokhale;S. Matsuoka

Performance Evaluation of Scale-Free Graph Algorithms in Low Latency Non-volatile Memory

• DOI: 10.1109/ipdpsw.2017.135
• 发表时间: 2017-05
• 期刊: 2017 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW)
• 作者: Manu Shantharam;Keita Iwabuchi;Pietro Cicotti;L. Carrington;M. Gokhale;R. Pearce

Graph Colouring as a Challenge Problem for Dynamic Graph Processing on Distributed Systems

• DOI: 10.1109/sc.2016.29
• 发表时间: 2016-11
• 期刊: SC16: International Conference for High Performance Computing, Networking, Storage and Analysis
• 作者: Scott Sallinen;Keita Iwabuchi;Suraj Poudel;M. Gokhale;M. Ripeanu;R. Pearce