深層学習モデルの非線形構造についての表現能力に基づいた数理解析

基于深度学习模型非线性结构表示能力的数学分析

基本信息

批准号：
21J12812
负责人：
長瀬准平
金额：
$ 0.96万
依托单位：
Shibaura Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-28 至 2023-03-31
项目状态：
已结题

项目摘要

本研究の目的は，深層学習モデルの表現能力に関する体系的な理論の構築であった．具体的な課題は，表現集合に基づいたこれまでの解析を拡張することであった．初年度の主な結果として，アフィン関数とReLU活性化関数の加算，連結，合成によって設計される任意の深層学習モデルは，いずれも多層パーセプトロンモデルに帰着されることが示された．この結果は，当初の課題の一つであった，任意のモデルを統一的なモデルへ帰着する方法の構成に対応する結果である．次年度の主な結果については，活性化関数の一般化に関する結果として，区分線形関数を活性化関数にもつパーセプトロンがReLU関数を設計可能であることを示した．この結果は，AroraらのICLR2018の結果の逆命題に相当する結果であり，したがって，ReLU関数と区分線形関数の活性化関数としてのある種の等価性が得られる．もう一つの結果として，前年度までの結果の仮定を一般化し，アフィン関数と区分線形関数の加算，連結，合成によって設計される任意の深層ニューラルネットワークモデルはいずれも多層パーセプトロンモデルに帰着されることが示された．この結果についての進捗は、日本応用数理学会2022年度年会、日本数学会2022年度秋季総合分科会、日本数学会応用数学分科会2022年度応用数学合同研究集会にて口頭発表を行った．また，情報処理学会論文誌の64巻6号に掲載予定であり，当初の課題の一つである，非線型構造の表現集合理論の構築に対応する結果である．これらの結果は，当初計画していた予定の全てを網羅するわけではないものの，深層学習モデルの表現能力に関する体系的な理論の構築のための研究は進展したと考えられ，また，今後の展望として，各活性化関数と区分線形関数との対応の調査，活性化関数に限らないモデルの大域的な非線形構造の解析といった二つの具体的な研究方針を得ることができた．

本研究的目的是构建关于深度学习模型表达能力的系统理论。具体的挑战是扩展之前基于表示集的分析。第一年的主要成果是任何通过仿射函数和ReLU激活函数的加法、串联和组合设计的深度学习模型都可以简化为多层感知器模型。这一结果对应于构建一种将任意模型简化为统一模型的方法，这是最初的挑战之一。关于明年的主要结果，作为关于激活函数的泛化的结果，我们表明以分段线性函数作为激活函数的感知器可以设计ReLU函数。这个结果对应了Arora等人的ICLR2018结果的逆命题，因此得到了ReLU函数和分段线性函数作为激活函数的一种等价性。另一个结果是，通过推广前一年结果的假设，任何通过添加、连接和组合仿射函数和分段线性函数而设计的深度神经网络模型都将被简化为多层感知器模型。这些成果的进展已在日本应用数学会2022年年会、日本数学会应用数学分会2022年秋季全体委员会、日本数学会应用数学分会2022年应用数学联合研究会议上进行了口头报告。日本。该成果计划发表在《日本信息处理学会杂志》第 64 卷第 6 期上，对应原期之一，即非线性结构表示集理论的构造。尽管这些结果并未涵盖最初计划的所有内容，但它们被认为在构建有关深度学习模型表达能力的系统理论的研究方面取得了进展，并且是未来前景的一个很好的例子。我们获得了两个具体的研究方向：研究每个激活函数与分段线性函数之间的对应关系，以及分析不限于激活函数的模型的全局非线性结构。

项目成果

期刊论文数量（10）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

包除積分ニューラルネットの多層化とパーセプトロンによる構成について

使用感知器的多层包含/排除积分神经网络和配置

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
長瀬准平;本田あおい;石渡哲哉
通讯作者：
石渡哲哉

深層ニューラルネットモデルにおけるReLU関数とk区分線型関数の互換性について

深度神经网络模型中ReLU函数与k分段线性函数的兼容性

DOI：
发表时间：
2023
期刊：
情報処理学会論文誌
影响因子：
0
作者：
長瀬准平;石渡哲哉
通讯作者：
石渡哲哉

深層ニューラルネットの接続と活性化関数に関する表現能力の等価性

深度神经网络连接和激活函数的表示能力的等价

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
長瀬准平;石渡哲哉
通讯作者：
石渡哲哉

包除積分ネットワークモデルとtノルム・コノルム演算の関係

包含和排除积分网络模型与 t-norm/conorm 运算之间的关系

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
本田あおい;長瀬准平;石渡哲哉
通讯作者：
石渡哲哉

深層ニューラルネットワークモデルの ReLU 関数設計可能性

深度神经网络模型的 ReLU 函数设计可能性

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
長瀬准平;石渡哲哉
通讯作者：
石渡哲哉

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

長瀬准平其他文献

Effect of Red/Blue on temporal perception and pupillary response by different equiluminant methods

不同等亮度方法红/蓝对时间感知和瞳孔反应的影响

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
長瀬准平;本田あおい;石渡哲哉;長村徹，瀬尾茂人，藤本健二，繁田浩功，松田秀雄．;Yuya Kinzuka,Fumiaki Sato,Tetsuto Minami,Shigeki Nakauchi
通讯作者：
Yuya Kinzuka,Fumiaki Sato,Tetsuto Minami,Shigeki Nakauchi

細胞動画像シミュレータを介した強化学習による細胞追跡手法

使用细胞动态图像模拟器的强化学习的细胞追踪方法

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
長瀬准平;本田あおい;石渡哲哉;長村徹，瀬尾茂人，藤本健二，繁田浩功，松田秀雄．
通讯作者：
長村徹，瀬尾茂人，藤本健二，繁田浩功，松田秀雄．

炎症刺激に対する免疫細胞の動態解析のための深層学習に基づく細胞追跡手法

基于深度学习的细胞追踪方法，用于分析免疫细胞对炎症刺激的反应动态

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
長瀬准平;本田あおい;石渡哲哉;長村徹，瀬尾茂人，藤本健二，繁田浩功，松田秀雄．;Yuya Kinzuka,Fumiaki Sato,Tetsuto Minami,Shigeki Nakauchi;渡部綾，ブライソンジェームス，藤本健二，繁田浩功，瀬尾茂人，松田秀雄
通讯作者：
渡部綾，ブライソンジェームス，藤本健二，繁田浩功，瀬尾茂人，松田秀雄