Study of Knowledge Transfer between Linear Models and Deep Neural Networks

线性模型与深度神经网络之间的知识转移研究

基本信息

批准号：
21J11146
负责人：
鈴木藍雅
金额：
$ 0.96万
依托单位：
National Institute of Advanced Industrial Science and Technology (2022)University of Tsukuba (2021)
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-28 至 2023-03-31
项目状态：
已结题

项目摘要

当該研究課題について2022年度においては、目的とする古典数理モデルから深層学習モデルへの知識転移理論に関して、前年度に行った種々のモデル間の類似点や関連性についての考察から、具体的な知識転移手法の構築、およびそれらを説明する理論の精緻化を行った。具体的な知識転移手法の構築の取組みとしては、特徴抽出部と識別部の組み合わせで、構成される実問題の解決に付する大規模深層学習モデルの汎化性能を向上させる知識転移アルゴリズムの開発に成功した。これは前年度まで明らかになった次元削減に用いられる古典・深層学習モデル、分類問題に用いられる古典・深層学習モデル間についての関連性とそれぞれに対して提案した知識転移手法を組み合わせることで、実用的なアルゴリズムへの昇華に繋がった成果である。また、これらの深層学習モデルの性能を向上させる知識転移手法の構築の取組みを通じて得られた成果を元に、医用画像解析およびバイオ分野におけるAI技術の利活用について広く考察を行った。また理論的な取組みとしては、前年度までに得られた機械学習モデル間の知識転移という概念を定式化するための、代数学と幾何学に基づく数理モデル間の相互作用の記述の枠組みをより精緻化し、統計的機械学習一般に対する新たな代数的視点を与える理論へと発展させた。これは機械学習において広く援用される多様体仮説を代数学的に解釈した上で、具体的な知識転移手法をその上に展開することで理論的支持としたものである。本理論的取組みに対して、情報処理学会よりコンピュータサイエンス領域奨励賞の表彰を受けた。

关于这个研究课题，2022年，我们将在考虑前一年进行的各种模型之间的相似性和关系的基础上，开发有关从经典数学模型到深度学习模型的知识迁移理论的具体知识，并构建迁移方法和模型。详细的理论来解释它们。作为构建知识迁移方法的具体努力，我们正在开发一种知识迁移算法，该算法可以提高用于解决实际问题的大规模深度学习模型的泛化性能，该算法由特征提取部分和特征提取部分的组合组成。识别部分成功。这是通过结合用于降维的经典模型和深度学习模型以及用于分类问题的经典模型和深度学习模型之间的关系来实现的，这些模型直到前一年才被揭示，并且为每个模型提出了知识迁移方法。将算法升华为实用算法。此外，基于构建知识转移方法以提高这些深度学习模型性能所取得的成果，我们广泛考虑将人工智能技术应用于医学图像分析和生物技术领域。此外，作为一项理论工作，为了阐明前一年获得的机器学习模型之间的知识转移概念，我们将进一步开发基于代数和几何的描述数学模型之间相互作用的框架，并对其进行完善。并将其发展成为一种理论，为统计机器学习提供新的代数视角。这是基于广泛应用于机器学习中的流形假设的代数解释，并通过在此基础上开发特定的知识转移方法来提供理论支持。由于这项理论工作，我们获得了日本信息处理学会颁发的计算机科学鼓励奖。

项目成果

期刊论文数量（10）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Multi-task Learning with Consistent Prediction for Efficient Breast Ultrasound Tumor Detection

DOI：
10.1109/bibm55620.2022.9995444
发表时间：
2022-12
期刊：
2022 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)
影响因子：
0
作者：
Kaiwen Yang;Aiga Suzuki;Jiaxing Ye;H. Nosato;Ayumi Izumori;H. Sakanashi
通讯作者：
Kaiwen Yang;Aiga Suzuki;Jiaxing Ye;H. Nosato;Ayumi Izumori;H. Sakanashi

線型モデルから全結合型ニューラルネットワークに対する学習重みの知識転移

学习权重从线性模型到全连接神经网络的知识转移

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
鈴木藍雅
通讯作者：
鈴木藍雅

Initialization Method of Batch Uniformization Auto Encoder by Principal Component Analysis

基于主成分分析的批量均匀化自动编码器初始化方法

DOI：
10.1109/ssci50451.2021.9660064
发表时间：
2021
期刊：
Proc. of the IEEE Symposium Series on Computational Intelligence (IEEE SSCI) 2021
影响因子：
0
作者：
Shogo Takaoka; Takuya Kitamura; Aiga Suzuki; Masahiro Murakawa
通讯作者：
Shogo Takaoka; Takuya Kitamura; Aiga Suzuki; Masahiro Murakawa

多様体仮説に基づく統計的機械学習の圏論的定式化

基于流形假设的统计机器学习的范畴论表述