畳み込みニューラルネットワークのGPU上での学習時間の予測

预测卷积神经网络在 GPU 上的训练时间

基本信息

批准号：
21K11834
负责人：
BRYZGALOV PETR
金额：
$ 2.66万
依托单位：
Chiba Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

1. CNN学習時間の予測に使う畳み込み層の時間を、より正確にベンチマークするため、畳み込み層の時間をベンチマークするプロクシアプリDNNMarkの修正・改良を行った。2. 予測モデルの精度と汎用性を高めるため、なるべく多くのCNNを学習に使うことが必要なので、CNNは昨年度に使った14種類から25種類まで増やし、PyTorchで実装されたCNNの学習時間を記録し、改良したプロクシアプリを使って畳み込み層の時間をベンチマークした。その際、科研費で購入したマシンとクラウド計算機を使い、合わせて5台のマシンで5種類のGPUを使用した。3. 一台のマシンにおいて未知のCNNの学習時間を予測するモデルを構築するためのアプローチを開発した。このアプローチで作成した予測モデルの特徴は、CPUの性能がボトルネックとなる小さなミニバッチサイズや、GPUの性能に依存する大きなミニバッチサイズを含む、幅広いミニバッチサイズにおいてCNNの学習時間を予測できるということである。4. 一部のマシンにおいて、CNNの学習時間を高精度で予測できるモデルを構築するための特徴量とハイパーパラメーターを見つけ、25種類のPyTorchで実装されたCNNを使って予測の評価を行った。十分な予測性能を得られたことが確認できた。5. 予測モデルの種類を深層ニューラルネットワークから学習の速いXGBoostに変えたため、予測モデルの構築が速くなった。

1。为了使更准确的基准测试用于预测CNN学习时间的折叠层的时间，修改和改进了Procian App dnnmark，它是折叠层的基准时间的Procian App dnnmark。 2。为了提高预测模型的准确性和多功能性，有必要使用尽可能多的CNN进行学习，因此CNN从去年使用的14种增加到25种，以及在Pytorch中实现的CNN学习时间记录并使用改进的代理应用程序来基准折叠层的时间。当时，我使用了一台在Kaken费用和云计算器上购买的机器，并在总共五台机器上使用了五个GPU。 3。开发了一种方法来构建一种模型，该模型可以预测一台机器中未知的CNN学习时间。使用这种方法创建的预测模型的特征是，CPU性能是一个小的迷你批量尺寸和大型的微型批次大小，取决于GPU的性能可以预测CNN的学习时间。 4。在某些计算机中，一个特征量和超级参数可以构建一个模型，该模型可以以高精度来预测CNN的学习时间，并使用在25种Pytorch中实现的CNN评估预测。已经确认获得了足够的预测性能。 5。预测模型的类型已从深神经网络更改为快速学习的XGBoost，因此预测模型的构建速度更快。