大規模並列計算機用高精度演算環境の構築と演算精度自動チューニングの研究

大规模并行计算机高精度计算环境构建及计算精度自动调优研究

基本信息

批准号：
18K11340
负责人：
田中輝雄
金额：
$ 2.83万
依托单位：
Kogakuin University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2018
资助国家：
日本
起止时间：
2018-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究の課題について、それぞれ研究実績を項目ごとにまとめる。(a)高並列計算機用高精度演算環境の構築：①倍々精度演算ライブラリのAVX-512への対応に関しては、複数の混合制度での対応を共通関数化で実装し、完了とする。②GMP向けMPIコード自動生成に関しては、今年度の進捗はない。③大規模並列計算機用高精度演算環境における通信量削減方式の実現に関しては、RDMA通信およびセマフォによる同期処理の削減によるデータ通信手法の研究について発表した。(b)④高精度並列計算アルゴリズムの開発としては２件の検討を行なった。まず、ベクトルデータの格納方式であるAoSとSoAについて比較分析を行い、キャッシュに入るサイズではSoAの効果があり、キャッシュに入りきらないサイズでは性能に差がなく、使い勝手の良いAoSでも充分であることを示した。また、GPUを用いた計算において、従来からCUDAでの記述が主流であったが、近年、ディレクティブベースの記述方法が実現されており、性能面から評価を行った。その結果、複数の計算機環境での性能特性が異なることを示した。⑤自動チューニング技術の適用については、複数個所の同時性能パラメタチューニングを指向した。また、機械学習など、今後、半精度を含め、混合精度演算が重要となると考える分野に対する適用を試みた。研究成果の公開として、③に対して、計算工学講演会で１件の口頭発表を行った。④に対して、情報処理学会全国大会(2023.3)で２件の口頭発表を行った。内１件は学生奨励賞を受賞した。⑤に対して、国際学会(HPCAsia2023、於：シンガポール)にて、１件の口頭発表および１件のポスター発表を行った。ポスター発表は、HPC Asia 2023 BEST STUDENT POSTER AWARD 3rd Placeを受賞した。

本研究每个主题的研究结果按项目进行总结。 (a)高度并行计算机高精度计算环境的构建： ①关于AVX-512双精度计算库的支持，将通过转换为通用函数来实现对多种混合系统的支持，并将完成。 ②本财年在自动生成 GMP 的 MPI 代码方面没有进展。 ③针对大规模并行计算机高精度计算环境下通信量减少方法的实现，提出了利用RDMA通信和信号量减少同步处理的数据通信方法的研究。 (b)④我们进行了两项研究来开发高精度并行计算算法。首先，我们对AoS和SoA这两种矢量数据存储方式进行了对比分析，发现当大小适合缓存时，SoA有效果，但当大小不适合缓存时，性能没有差异，并且易于使用的 AoS 已被证明是足够的。另外，在使用GPU的计算中，传统上CUDA描述是主流，但近年来，已经实现了基于指令的描述方法，我们从性能角度对其进行评估。结果，我们表明性能特征在多种计算机环境中有所不同。 (5)在自动调优技术的应用上，我们的目标是多位置同时进行性能参数调优。我们还尝试将其应用到我们认为混合精度运算（包括半精度运算）在未来将变得重要的领域，例如机器学习。关于③，我们在一个计算工程会议上做了口头报告来宣传我们的研究成果。关于④，我们在日本信息处理学会全国会议（2023年3月）上做了两次口头报告。其中一项项目获得了学生鼓励奖。关于⑤，我们在国际学术会议（HPCAsia2023，位于新加坡）上做了1次口头报告和1次海报展示。该海报展示荣获 HPC Asia 2023 最佳学生海报奖第三名。

项目成果

期刊论文数量（27）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Parallelization of Automatic Tuning for Hyperparameter Optimization of Pedestrian Route Prediction Applications using Machine Learning

使用机器学习对行人路线预测应用的超参数优化进行自动调整的并行化

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
Sorataro Fujika; Yuga Yajima; Teruo Tanaka; Akihiro Fujii; Yuka Kato; Satoshi Ohshima; Takahiro Katagiri
通讯作者：
Takahiro Katagiri

マルチGPU環境における機械学習ハイパーパラメータの自動チューニング(1)

多GPU环境下机器学习超参数的自动调优（一）