Statistical mechanics of heuristic methods in multi-stage learning

多阶段学习中启发式方法的统计机制

• 批准号: 21K21310
• 负责人: 高橋 昂
• 金额: $ 1.91万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Research Activity Start-up
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-08-30 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K21310/
• 关键词: 半教師あり学習; アンサンブル学習; レプリカ法; 近似確率伝搬法; 機械学習; 統計力学; モデル圧縮

今年度は、(i)自己学習におけるラベルバイアスの影響の精密漸近論による解析、および(ii)バギングによる不偏推定量の振る舞いの精密漸近論による解析を行った。以下でそれぞれの研究の内容について説明する。(a) 自己学習におけるラベルバイアスの影響: 昨年度の研究で、２成分混合ガウス分布の分類における線形モデルの学習に対して自己学習を行った場合の振る舞いについての精密漸近論を構築した。場合によっては自己学習で用いる疑似ラベルが真のラベルに匹敵する性能を持つことが明らかとなっていたが、様々に条件を変えた際の汎化誤差について網羅的に解析し、疑似ラベルの性質が真のラベルに匹敵する条件を調査した。その結果、ラベルバイアスが小さい場合には長時間極限でほぼ教師あり学習と等価な性能を持つが、ラベルバイアスが大きくなると急速に教師あり学習に対する相対的な性能が悪化することが明らかとなった。この結果をまとめて現在論文にまとめ、現在査読中である。(b) バギングによる不偏推定量の分散低減: 線形回帰において近似確率伝搬法によって不偏推定量が構築できることが知られている。本研究では、この不偏推定量を様々なブートストラップデータに対して平均するバギング操作を行って得られる統計量の性質を精密漸近論によって解析した。この結果、バギングを行ってもやはり不偏推定量であり、かつ取得データの性質と仮定している正則化の合致度に応じて、バギングの効果がほとんどない領域からバギングが積極的に分散を低減させる領域への相転移が生じることを明らかにした。この結果は論文にまとめ国際会議に投稿した。

今年，我们分析了（i）使用精确渐近理论标签偏差对自学习的影响，以及（ii）使用精确渐近理论通过 bagging 的无偏估计量的行为。每项研究的内容解释如下。 (a)标签偏差对自学习的影响：在去年的研究中，我们为二元混合高斯分布分类中的线性模型学习进行自学习时的行为构建了精确的渐近理论。很明显，在某些情况下，自学习中使用的伪标签具有与真实标签相当的性能，但我们综合分析了各种条件下的泛化误差，并研究了伪标签的属性。与真实标签相当。结果表明，当标签偏差较小时，在长时间限制内，其性能几乎与监督学习相当，但随着标签偏差变大，监督学习的相对性能迅速恶化。结果已汇编成一篇论文，目前正在接受同行评审。 (b) 通过装袋减少无偏估计量的方差：众所周知，无偏估计量可以使用线性回归中的近似概率传播来构造。在本研究中，我们使用精确渐近理论分析了通过对各种引导数据平均该无偏估计量而获得的统计特性。因此，即使执行了 bagging，它仍然是一个无偏估计量，并且根据获取数据的性质和假设的正则化的一致程度，bagging 从 bagging 几乎没有影响的区域开始主动减少方差。结果表明，相变发生在发生相变的区域。研究结果被汇编成一篇论文并提交给国际会议。

项目成果

ブートストラップ平均化された不偏推定量の統計力学的解析

自举平均无偏估计量的统计力学分析

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂;髙橋昂
• 通讯作者: 髙橋昂

Sharp Asymptotics of Self-training with Linear Classifier

线性分类器自训练的尖锐渐近

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi
• 通讯作者: Takashi Takahashi

反復型自己学習アルゴリズムのレプリカ解析

迭代自学习算法的副本分析

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂
• 通讯作者: 髙橋昂

半教師あり学習の平衡統計力学的解析

半监督学习的平衡统计力学分析

• 发表时间: 2021
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂;髙橋昂;髙橋昂
• 通讯作者: 髙橋昂