Multi-Layer In-Memory Computing and Its Application for GNNs

多层内存计算及其在 GNN 中的应用

基本信息

批准号：
22K21284
负责人：
藤木大地
金额：
$ 1.83万
依托单位：
Keio University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Research Activity Start-up
财政年份：
2022
资助国家：
日本
起止时间：
2022-08-31 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K21284/
关键词：
インメモリ計算 PIM 計算機アーキテクチャ

项目摘要

インメモリ計算という新しい計算技術を用いた計算機の構成法、及び、複雑分散化した計算資源の効率的な活用法に関する研究を行った。インメモリ計算はメモリの物理特性を利用してメモリ内で直接計算を行い、計算機システム上で支配的となっているデータ移動コストを削減する技術であるが、実装されるメモリによってその計算効率は大きく異なり、アプリケーションを効率的にマッピング及びスケジューリングする手法の探索には大きな余地が残っている。ヘテロジーニアスなメモリ内計算資源の活用のため、本研究では、まずどのようなアプリケーションが多層インメモリ計算の恩恵を受けうるかの調査を行った。そのうえで、メモリインテンシブ・計算インテンシブな要求の両方を持つグラフニューラルネットワーク（GNN）及びマルチプログラミングを想定した多層インメモリ計算アーキテクチャの検討した。また、主要となる疎行列積演算カーネルなどについて、どのようにメモリ上で計算を行ったら性能とコストの良いトレードオフが取れるか検討し、その方法を提案した。研究を進めるうえで、プログラムの入力データの特性によって計算タスクのメモリへの最適マッピングが大きく影響を受けることが明らかになり、コンパイル時に判明するプログラムの特性に加え、入力から素早く特徴を抽出することが求められることが判明した。検討をしているアプリケーションでは、入力が多種多様かつ予測困難であることから、機械学習を使ってオンザフライで入力から期待される性能を事前学習し、入力データのダイナミクスを考慮するスケジューリング手法を検討した。OSなどで一般的に使用されるスケジューリング手法では不十分であり、かつ最適解を求めるにはNP困難な問題を解く必要があるが、提案手法では軽量な機械学習を用いたヒューリスティックを用いることで、十分精度の高いスケジューリングの解を求められることを示した。

我们对如何使用称为内存计算的新计算技术进行构建计算机进行了研究，以及如何有效利用复杂的分布式计算资源。内存计算是利用内存的物理特征直接在内存中执行计算的技术，从而降低了在计算机系统中占主导地位的数据移动成本，但是它们的计算效率差异很大，具体取决于实现的内存，留出大量的空间来搜索方法以有效地映射并计划应用程序。为了利用异基因计算资源，本研究首先研究了哪些应用可以从多层内存计算中受益。然后，我们检查了具有内存密集型和计算密集型要求以及设想多编程的多层内存计算体系结构的图形神经网络（GNN）。此外，我们研究了如何计算主要的稀疏基质产品计算内核和其他方法，以实现绩效和成本之间的良好权衡，并提出了一种方法。在进行研究的过程中，揭示了程序的输入数据的特征极大地影响了计算任务对内存的最佳映射，并且除了在编译时已知的程序的特征之外，还必须快速从输入中提取功能。在考虑的应用程序中，输入是多种多样且难以预测的，因此我们检查了一种调度方法，该方法使用机器学习将预期的性能从即时的输入中预期，并考虑输入数据的动态。尽管在OSS和其他系统中常用的调度方法不足，并且有必要解决难以找到最佳解决方案的问题，但提出的方法表明，可以使用轻巧的机器学习使用启发式方法来获得高度准确的调度解决方案。