Statistical mechanics of heuristic methods in multi-stage learning

多阶段学习中启发式方法的统计机制

• 批准号: 21K21310
• 负责人: 高橋 昂
• 金额: $ 1.91万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Research Activity Start-up
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-08-30 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K21310/
• 关键词: 半教師あり学習; アンサンブル学習; レプリカ法; 近似確率伝搬法; 機械学習; 統計力学; モデル圧縮

今年度は、(i)自己学習におけるラベルバイアスの影響の精密漸近論による解析、および(ii)バギングによる不偏推定量の振る舞いの精密漸近論による解析を行った。以下でそれぞれの研究の内容について説明する。(a) 自己学習におけるラベルバイアスの影響: 昨年度の研究で、２成分混合ガウス分布の分類における線形モデルの学習に対して自己学習を行った場合の振る舞いについての精密漸近論を構築した。場合によっては自己学習で用いる疑似ラベルが真のラベルに匹敵する性能を持つことが明らかとなっていたが、様々に条件を変えた際の汎化誤差について網羅的に解析し、疑似ラベルの性質が真のラベルに匹敵する条件を調査した。その結果、ラベルバイアスが小さい場合には長時間極限でほぼ教師あり学習と等価な性能を持つが、ラベルバイアスが大きくなると急速に教師あり学習に対する相対的な性能が悪化することが明らかとなった。この結果をまとめて現在論文にまとめ、現在査読中である。(b) バギングによる不偏推定量の分散低減: 線形回帰において近似確率伝搬法によって不偏推定量が構築できることが知られている。本研究では、この不偏推定量を様々なブートストラップデータに対して平均するバギング操作を行って得られる統計量の性質を精密漸近論によって解析した。この結果、バギングを行ってもやはり不偏推定量であり、かつ取得データの性質と仮定している正則化の合致度に応じて、バギングの効果がほとんどない領域からバギングが積極的に分散を低減させる領域への相転移が生じることを明らかにした。この結果は論文にまとめ国際会議に投稿した。

今年，我们使用精确的渐近理论分析了标签偏差对自学习的影响，以及（ii）使用精确渐近理论使用装袋的无偏估计器的行为。每个研究的内容在下面说明。 （a）标签偏差对自学习的影响：在去年的一项研究中，当在学习线性模型中进行自学性渐近理论时，我们构建了一种精确的行为理论。在某些情况下，很明显，在自学习中使用的伪标记具有与真实标签相当的性能，但是在更改各种条件时进行了全面分析时的概括误差，并且研究了伪标签的性质与真实标签相当的条件。结果，据透露，当标签偏差很小时，表现几乎等同于监督学习，但是当标签偏见增加时，对监督学习的相对表现会迅速恶化。这些结果总结在论文中，目前正在审查中。 （b）通过装袋减少无偏估计器的方差：众所周知，在线性回归中，无偏估计器可以通过近似概率传播方法构建。在这项研究中，使用精确的渐近理论分析了通过进行各种自举数据的平均估计量来获得的统计量的性质。结果，据透露，即使执行行李，公正的估计器仍会发生，并且取决于被认为是获得的数据本质的正则化程度，同相转变也发生在袋装的效果中几乎不存在该区域的效果，在该区域中，袋装的袋子积极减少分散分散。结果被编译成论文，并提交了国际会议。

项目成果

ブートストラップ平均化された不偏推定量の統計力学的解析

自举平均无偏估计量的统计力学分析

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂;髙橋昂
• 通讯作者: 髙橋昂

Sharp Asymptotics of Self-training with Linear Classifier

线性分类器自训练的尖锐渐近

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi
• 通讯作者: Takashi Takahashi

反復型自己学習アルゴリズムのレプリカ解析

迭代自学习算法的副本分析

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂
• 通讯作者: 髙橋昂

半教師あり学習の平衡統計力学的解析

半监督学习的平衡统计力学分析

• 发表时间: 2021
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂;髙橋昂;髙橋昂
• 通讯作者: 髙橋昂