Teacher-Student Sequential Re-learning Model in Adaptive Structure Deep Learning

自适应结构深度学习中的师生顺序重学习模型

基本信息

批准号：
19K12142
负责人：
市村匠
金额：
$ 2.83万
依托单位：
Prefectural University of Hiroshima
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

我々が提案した学習データに最適なRBMのニューロン数を自動で定める構造適応型RBM(Adaptive RBM(Restricted Boltzmann Machine))と，事前学習したAdaptive RBMを層とし，自動で階層構造を構築する構造適応型DBN(Adaptive DBN(Deep Belief Network))によって，高い分類能力を示すことが分かっている。しかしながら，教師あり学習における訓練データには，入力信号が同じでラベル付けされた教師信号が異なるものが含まれていることがある。これらは人間の異なる感性によって与えられたラベルであって，一概にラベル付け自体が誤りであるとは言い切れない。しかしながら，学習済モデルに与えた場合，誤判定が生じる原因となっている。このような場合，２つ以上のモデルを用いてアンサンブル学習を行う等の方法が用いられ，Teacher-Student(T/S)モデルはその一つのモデルとされている。本研究では，学習済モデルと新モデルの形成状態を調査するために，学習済みのネットワークをTeacherモデル，再学習のための新しいネットワークをStudentモデルとし，新たなStudentモデルの学習を行う。２つのモデルのKL情報量を測り，Studentモデルの分類能力とKL情報量の変化の関係を明確にし，Studentモデルで得られた新たな知識をTeacherモデルに挿入する手法を提案し，学習後のモデルの計算時間の短縮を実現した。CIFAR-100などのベンチマークデータセットや顔感情データベースであるAffectNet，軽度認知症MRIデータベースADNIに適用し，その有効性を検証したところ，分類性能の向上を示した。さらに，災害時の航空画像や衛星画像などの他のデータにも適用したところ，その有効性が示された結果が得られた．

已经发现，高度分类的能力是通过结构自适应RBM（受限的玻尔兹曼机器）实现的，该结构自动确定了最佳训练数据的RBM神经元的数量，以及结构自适应DBN（深度信念网络），该数量自动地使用预先培养的自适应RBMS构建层次结构。但是，监督学习中的培训数据可能包括具有相同输入信号但有不同标记的教师信号的培训数据。这些是由不同的人类敏感性给出的标签，不能说标记本身通常是一个错误。但是，当给予训练有素的模型时，这是做出错误判断的原因。在这种情况下，使用了使用两个或多个模型的集合学习等方法，并且教师 - 学生（T/S）模型被认为是这些模型之一。在这项研究中，为了研究训练有素的模型和新模型的形成状态，训练有素的网络被用作教师模型，并且将新的培训网络用作学生模型，并将新的学生模型用作。我们提出了一种测量两个模型中KL信息量的方法，阐明了学生模型的分类能力与KL信息量的变化之间的关系，并将从学生模型获得的新知识插入教师模型中，从而减少了训练后模型的计算时间。当基准数据集（例如CIFAR-100），面部情绪数据库和轻度痴呆率MRI数据库ADNI等基准数据集时，将应用于药物的有效性，并展示了分类性能。此外，当在灾难期间应用于其他数据，例如航空图像和卫星图像时，结果显示出它们的有效性。

项目成果

期刊论文数量（35）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

An Adaptive Structural Learning of Deep Belief Network for Image-based Crack Detection in Concrete Structures Using SDNET2018

使用 SDNET2018 进行基于图像的混凝土结构裂缝检测的深度置信网络的自适应结构学习

DOI：
发表时间：
2020
期刊：
影响因子：
0
作者：
Shin Kamada;Takumi Ichimura;Takashi Iwasaki
通讯作者：
Takashi Iwasaki

Teacher-Studentモデルに基づく構造適応型深層学習法による認知症MRI画像判定システム

基于师生模型的结构自适应深度学习方法的痴呆MRI图像判断系统

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
市村匠;鎌田真;原田俊英;井上健
通讯作者：
井上健

Adaptive Structural Learning of Deep Belief Network and its Application to Real Time Crack Detection of Concrete Structure using Drone", Virvou, Tsihrintzis, Bourbakis, Jain eds. "Handbook on Artificial Intelligence-empowered Applied Software Engineering:

深度置信网络的自适应结构学习及其在无人机实时混凝土结构裂缝检测中的应用”，Virvou、Tsihrintzis、Bourbakis、Jain 编辑。“人工智能赋能的应用软件工程手册：

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Takumi Ichimura;Shin Kamada;Toshihide Harada and Ken Inoue;Shin Kamada and Takumi Ichimura
通讯作者：
Shin Kamada and Takumi Ichimura

認知症早期判定のための構造適応型深層学習によるMRI/PET画像の分類

使用结构自适应深度学习对 MRI/PET 图像进行分类，以实现痴呆症的早期诊断