ノードローカルな不揮発性メモリを考慮した大規模動的グラフ向けグラフストア基盤

考虑节点本地非易失性存储器的大规模动态图的图存储平台

• 批准号: 16J00317
• 负责人: 岩渕 圭太
• 金额: $ 1.09万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2016
• 资助国家: 日本
• 起止时间: 2016-04-22 至 2018-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16J00317/
• 关键词: 高性能計算; グラフ; ビッグデータ; 不揮発性メモリ

今年度は不揮発性メモリの活用方法について取り組んだ。具体的には、ユーザーアプリケーションレベルのページキャッシュ機構の設計を行った。本課題では、メインメモリの容量を拡張するために不揮発性メモリをDRAMの延長として活用することで、スーパーコンピュータなどの大規模システムの消費電力やコストを抑えることを狙っている。これまで不揮発性メモリ上にあるデータをメインメモリ（ＤＲＡＭ）上で操作するために既存のカーネルに実装されているメモリマップドファイル機構を使用してきた。この手法はストレージ上にあるファイルデータを操作する方法として広く一般的に使用されているが、グラフ処理などの大量のランダムなメモリアクセスが発生するイレギュラーアプリケーションでは既存のページキャッシュ機構を使用した場合、I/O性能に対して大幅なオーバヘッドが課される問題がある。そこで、この課題に対して、ユーザーアプリケーションレベルでのページキャッシュ機構の設計に取り組んだ。具体的には、ユーザーレベルにて確保したメモリスペース内でページキャッシュの管理とストレージデバイスとのI/O処理を行うことで、アプリケーションのメモリアクセスパターンに根付いたページの入れ替え処理を可能にし、ページの入れ替え処理にかかるオーバーヘッドを最小限に留めることを狙っている。今年度は年度内での辞退のため、現状ではこのライブラリの設計は初期段階であるが、今後もこの課題の研究を行うことで、大規模グラフ処理以外にも様々な大規模イレギュラーアプリケーションへの適応が可能なライブラリとなることが期待される。

今年，我们致力于研究利用非易失性存储器的方法。具体来说，我们在用户应用程序级别设计了页面缓存机制。该项目旨在通过使用非易失性存储器作为DRAM的扩展来扩展主存储器的容量，从而降低超级计算机等大型系统的功耗和成本。到目前为止，现有内核中实现的内存映射文件机制已用于操作位于主存储器 (DRAM) 中的非易失性存储器中的数据。该方法被广泛用作在存储上操作文件数据的方法，但是对于诸如涉及大量随机存储器访问的图形处理之类的不规则应用，可以使用现有的页缓存机制，存在这样的问题：它强加了I/O 性能的显着开销。因此，为了解决这个问题，我们致力于在用户应用程序级别设计页面缓存机制。具体而言，通过在用户级确保的内存空间内管理页缓存并与存储设备执行I/O处理，可以执行植根于应用程序的内存访问模式的页替换处理，以及页的目的是为了最大限度地减少替换过程所需的开销。由于他在本财年辞职，该库的设计目前处于早期阶段，但通过继续研究这个课题，我们希望将其应用于除了大规模图形处理之外的各种大规模不规则应用。预计该库将变得具有适应性。

项目成果

Large-scale Dynamic Graph Processing on HPC Systems

HPC 系统上的大规模动态图处理

• 发表时间: 2017
• 作者: Keita Iwabuchi;Roger Pearce;Maya Gokhale;Satoshi Matsuoka
• 通讯作者: Satoshi Matsuoka

Towards a Distributed Large-Scale Dynamic Graph Data Store

• DOI: 10.1109/ipdpsw.2016.189
• 发表时间: 2016-05
• 期刊: 2016 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW)
• 作者: Keita Iwabuchi;Scott Sallinen;R. Pearce;B. V. Essen;M. Gokhale;S. Matsuoka

Performance Evaluation of Scale-Free Graph Algorithms in Low Latency Non-volatile Memory

• DOI: 10.1109/ipdpsw.2017.135
• 发表时间: 2017-05
• 期刊: 2017 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW)
• 作者: Manu Shantharam;Keita Iwabuchi;Pietro Cicotti;L. Carrington;M. Gokhale;R. Pearce

Graph Colouring as a Challenge Problem for Dynamic Graph Processing on Distributed Systems

• DOI: 10.1109/sc.2016.29
• 发表时间: 2016-11
• 期刊: SC16: International Conference for High Performance Computing, Networking, Storage and Analysis
• 作者: Scott Sallinen;Keita Iwabuchi;Suraj Poudel;M. Gokhale;M. Ripeanu;R. Pearce