ハイブリッド混合精度処理によるエクサスケール反復解法ライブラリの開発

使用混合混合精度处理开发百亿亿次迭代解决方案库

基本信息

批准号：
22K12053
负责人：
伊奈拓也
金额：
$ 2.5万
依托单位：
Japan Atomic Energy Agency
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12053/
关键词：
クリロフ部分空間法混合精度演算 SYCL 高性能計算

项目摘要

2022年度はDOT、AXPY等の基本演算を対象として、半精度、単精度、倍精度、4倍精度によるデータ型と演算精度の任意の組み合わせを可能とするハイブリッド混合精度処理をSYCLにより実装して共役勾配法(CG法)に対して演算性能と演算精度の評価を行った。SYCLを採用することで単一のソースコードで様々なCPU/GPUアーキテクチャに対応可能となり、作業工数の削減を実現した。A64FX、Nvidia GPU、Intel CPU環境において、開発したSYCL版CG法コードの性能評価を実施した。その結果、従来のFortran、C/C++、CUDAコードと比較して半精度、単精度、倍精度、4倍精度で同程度の性能を得られることを確認した。また、ハイブリッド混合精度処理の検証をSuiteSparse Matrix Collectionの行列データに対して実施し、4倍精度演算+倍精度データ型を利用することで収束性が改善するケースを確認した。これにより実アプリの行列に対するハイブリッド混合精度処理の有効性を示した。これに加えて、半精度ヤコビ前処理における行列データの低精度変換による収束性悪化を回避する新たなデータ変換手法を開発した。ヤコビ法が収束するための十分条件は対角優位性であるが、ポアソン方程式の差分計算のような既約優対角の行列を低精度に変換すると丸め誤差により対角優位性が崩れてしまい、収束性が悪化する場合がある。そのため、対角優位性を維持するように対角要素の絶対値が大きくなる方向に丸め、非対角要素をゼロ方向に丸めるデータ変換を開発し、収束性の維持を実現した。この結果はHPC Asia 2023国際会議で発表され、Best Paper Finalistに選ばれた。

2022年，我们将利用SYCL实现混合混合精度处理，实现半精度、单精度、双精度、四精度数据类型和算术精度的任意组合，针对DOT、AXPY等基本运算。我们评估了共轭梯度法（CG 法）的计算性能和准确性。通过采用SYCL，单个源代码可以用于各种CPU/GPU架构，从而减少所需的工作量。我们在 A64FX、Nvidia GPU 和 Intel CPU 环境中对开发的 SYCL 版本 CG 方法代码进行了性能评估。结果，我们确认与传统的 Fortran、C/C++ 和 CUDA 代码相比，在半精度、单精度、双精度和四精度下可以获得相同水平的性能。我们还验证了对 SuiteSparse Matrix Collection 中矩阵数据的混合混合精度处理，并确认了通过使用四精度运算 + 双精度数据类型提高收敛性的情况。这证明了矩阵混合混合精度处理在实际应用中的有效性。除此之外，我们还开发了一种新的数据变换方法，以避免半精度雅可比预处理中矩阵数据的低精度变换导致收敛性恶化。雅可比方法收敛的充分条件是对角优势，但当将不可约的超对角矩阵转换为低精度时，例如在泊松方程的差分计算中，由于舍入误差，对角优势被破坏，收敛性可能恶化。因此，我们开发了一种数据转换，将对角线元素朝增加的绝对值舍入，并将非对角线元素朝零舍入以保持收敛。结果在 HPC Asia 2023 国际会议上公布，并入选最佳论文决赛。