Multi-Layer In-Memory Computing and Its Application for GNNs

多层内存计算及其在 GNN 中的应用

基本信息

批准号：
22K21284
负责人：
藤木大地
金额：
$ 1.83万
依托单位：
Keio University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Research Activity Start-up
财政年份：
2022
资助国家：
日本
起止时间：
2022-08-31 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K21284/
关键词：
インメモリ計算 PIM 計算機アーキテクチャ

项目摘要

インメモリ計算という新しい計算技術を用いた計算機の構成法、及び、複雑分散化した計算資源の効率的な活用法に関する研究を行った。インメモリ計算はメモリの物理特性を利用してメモリ内で直接計算を行い、計算機システム上で支配的となっているデータ移動コストを削減する技術であるが、実装されるメモリによってその計算効率は大きく異なり、アプリケーションを効率的にマッピング及びスケジューリングする手法の探索には大きな余地が残っている。ヘテロジーニアスなメモリ内計算資源の活用のため、本研究では、まずどのようなアプリケーションが多層インメモリ計算の恩恵を受けうるかの調査を行った。そのうえで、メモリインテンシブ・計算インテンシブな要求の両方を持つグラフニューラルネットワーク（GNN）及びマルチプログラミングを想定した多層インメモリ計算アーキテクチャの検討した。また、主要となる疎行列積演算カーネルなどについて、どのようにメモリ上で計算を行ったら性能とコストの良いトレードオフが取れるか検討し、その方法を提案した。研究を進めるうえで、プログラムの入力データの特性によって計算タスクのメモリへの最適マッピングが大きく影響を受けることが明らかになり、コンパイル時に判明するプログラムの特性に加え、入力から素早く特徴を抽出することが求められることが判明した。検討をしているアプリケーションでは、入力が多種多様かつ予測困難であることから、機械学習を使ってオンザフライで入力から期待される性能を事前学習し、入力データのダイナミクスを考慮するスケジューリング手法を検討した。OSなどで一般的に使用されるスケジューリング手法では不十分であり、かつ最適解を求めるにはNP困難な問題を解く必要があるが、提案手法では軽量な機械学習を用いたヒューリスティックを用いることで、十分精度の高いスケジューリングの解を求められることを示した。

我们研究了如何使用一种称为内存计算的新计算技术来配置计算机，以及如何有效地利用复杂的分布式计算资源。内存计算是一种利用内存的物理特性直接在内存中进行计算的技术，减少了计算机系统中占主导地位的数据移动成本，但计算效率取决于所实现的内存，还有相当大的探索空间。有效地映射和安排应用程序。为了利用异构内存计算资源，本研究首先研究了哪些类型的应用程序可以从多层内存计算中受益。之后，我们研究了一种多层内存计算架构，该架构假设图神经网络（GNN）和多道程序设计，它们同时具有内存密集型和计算密集型要求。我们还研究了如何在内存中执行计算，以实现主要稀疏矩阵乘法内核的性能和成本之间的良好权衡，并提出了一种这样做的方法。随着我们研究的深入，我们已经清楚计算任务到内存的最佳映射很大程度上受到程序输入数据特征的影响。除了编译时已知的程序特征之外，它还受到程序输入数据特征的影响。从输入中快速提取特征很重要，事实证明这是必需的。在所考虑的应用中，输入是多种多样且难以预测的，因此我们考虑了一种调度方法，该方法使用机器学习来动态地预先学习预期性能并考虑输入数据的动态。操作系统中常用的调度方法是不够的，需要解决NP难题才能找到最优解决方案，但所提出的方法使用轻量级机器学习的启发式方法，表明可以获得足够准确的调度解决方案。