Study on deep neural nets with group theory

基于群论的深度神经网络研究

基本信息

批准号：
20K03743
负责人：
三内顕義
金额：
$ 2.83万
依托单位：
Institute of Physical and Chemical Research
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究計画はZaheerらの定義した対称性を持った深層ニューラルネットの理論を群論、表現論、不変式論の見地から一般化、精密化するものであった。一般化の最初のステップとしてSnの自然表現の二階のテンソル作用を考える。これは作用として置換作用の自然な一般化でありながら、グラフを入力とする関数を考える時に自然に現れる存在でもある。Zaheer の場合もそうであるように、構成のキーとなるのは作用空間の対称代数の不変式論である。またこの不変式環にはグラフ理論的な意味づけを与えることができ、この視点から深層ニューラルネットを構成する。これまでの研究としてはグラフを入力とする深層ニューラルネットをより一般の有限群に対称性を持った関数として取り扱い、それをうまく近似する対称性を持った深層ニューラルネットを構成することに成功した。具体的な手法としては不変式論で使われるレイノルズ作用素を用いることで通常の深層ニューラルネットを不変・同変性を持った深層ニューラルネットに変換する。さらに変換前の深層ニューラルネットは入力変数を削減することが可能であるという現象も発見した。この結果についてはプレプリントを公開し、国際的なジャーナルへ投稿する予定である。今年度はさらに構造的因果モデルに関するメタ学習の研究を行なった。同じ構造式を持つ構造的因果モデルはある潜在空間上でその因果を対称性として捉えることができ、その対称性を用いることで効率的なメタ学習モデルを構成することができることを示した。これについても国際会議などに投稿予定である。

该研究项目旨在从群论、表示论和不变论的角度概括和完善 Zaheer 等人定义的对称性深度神经网络理论。作为泛化的第一步，我们考虑 Sn 自然表示的二阶张量作用。此操作是排列操作的自然概括，但在考虑将图作为输入的函数时，它也自然存在。正如扎西尔的例子一样，构造的关键是动作空间对称代数的不变理论。此外，这个不变环可以从图论中被赋予意义，并且可以从这个角度构建深度神经网络。在我之前的研究中，我将一个以图作为输入的深度神经网络视为具有对更一般的有限群的对称性的函数，并成功地构造了一个具有成功近似它的对称性的深度神经网络。具体方法是利用不变方程理论中使用的雷诺算子，将普通的深度神经网络转化为不变且等变的深度神经网络。此外，我们发现转换前的深度神经网络可以减少输入变量数量的现象。我们计划出版这些结果的预印本并将其提交给国际期刊。今年，我们进一步开展了结构因果模型元学习的研究。我们表明，具有相同结构公式的结构因果模型可以将其因果关系理解为特定潜在空间中的对称性，并且通过利用这种对称性，可以构建有效的元学习模型。我们还计划向国际会议提交这份报告。