不確かさを考慮するハードウェア指向ベイズ深層学習技術の開拓

开发面向硬件、考虑不确定性的贝叶斯深度学习技术

• 批准号: 22KJ0553
• 负责人: 平山 侑樹
• 金额: $ 1.41万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0553/
• 关键词: ベイズ深層学習; ニューラルネットワーク; 非線形関数; モーメント伝播; 決定論的変分推論; 畳み込みニューラルネットワーク

本研究では信頼できるAI技術の実現を目指し、ハードウェア・アルゴリズム双方の観点から、高効率なベイズ深層学習の実現を目的としている。ベイズ深層学習は不確実性を考慮した予測を可能とするため、医療診断、自動運転など安全性が重視されるアプリケーションでの活用が期待される。しかし、ベイズ深層学習では予測において確率分布からのサンプリングを要するため、深層学習と比べ膨大な計算を必要とする。そこで本研究では、モーメントの伝播を利用したアルゴリズムに着目し、ベイズ深層学習の高速化・高効率化に取り組んでいる。当該年度では、高速なモーメントの計算を可能とする非線形関数と、大規模モデルにおいてモーメント伝播を可能とする方法論についての研究を行った。ReLUやSigmoidなどの従来の非線形関数の出力の統計量を計算するためには、テイラー展開を必要とするため計算量が増加してしまう。そこで本研究では、入力の統計量について非線形性を導入する、モーメント伝播に適した非線形関数を提案した。これにより、従来の非線形関数を用いた手法と比べ、最大で1.6倍高速な計算を可能としている。また、これまでは活性の分散が大きくなってしまうことから、モーメント伝播の適用が難しかった大規模なモデルに対して、確率変数に拡張したバッチ正規化層を導入することで、モーメント伝播による高速な推論を可能とした。様々な変分分布においてその有効性について検討し、従来のサンプリングによるベイズ深層学習と比べ、3.4-5.3倍高速な推論を可能とした。

本研究以实现可靠的人工智能技术为目标，旨在从硬件和算法两个角度实现高效的贝叶斯深度学习。贝叶斯深度学习可以实现考虑不确定性的预测，因此有望用于医疗诊断和自动驾驶等安全性很重要的应用中。然而，由于贝叶斯深度学习需要从概率分布中采样进行预测，因此与深度学习相比，它需要大量的计算。因此，在这项研究中，我们专注于利用矩传播的算法，并致力于使贝叶斯深度学习更快、更高效。今年，我们对能够实现高速力矩计算的非线性函数以及能够在大规模模型中实现力矩传播的方法进行了研究。为了计算ReLU、Sigmoid等常规非线性函数的输出统计量，需要进行泰勒展开，这增加了计算量。因此，在本研究中，我们提出了一种适合矩传播的非线性函数，在输入统计中引入非线性。这使得计算速度比使用非线性函数的传统方法快 1.6 倍。此外，通过引入扩展到大规模模型随机变量的批量归一化层（以前由于激活方差较大而很难应用矩传播），我们可以快速进行推理，这使得进行推断成为可能。我们研究了它在各种变分分布中的有效性，发现推理速度比使用采样的传统贝叶斯深度学习快 3.4-5.3 倍。