アンサンブル学習のアルゴリズム開発と理論的解析

集成学习的算法开发与理论分析

• 批准号: 17700277
• 负责人: 金森 敬文
• 金额: $ 1.92万
• 依托单位: Nagoya University (2007)Tokyo Institute of Technology (2005-2006)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2007
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17700277/
• 关键词: アンサンブル学習; ロバスト推定; 不確実性; 最適化; バリューアットリスク; パラメトリック最適化; 分位点回帰関数; 条件付密度関数推定

今年度は主にブースティングや不確実性のもとでの最適化に関する理論的な研究を行った。とくに最適解との関連について研究を進め,理論的に最適な損失関数を導出した。これにより計算効率の高い学習アルゴリズムの開発に貢献した。さらに大規模な数値実験により,提案方法の有効性を検証した。これらの考察を含むブースティングのロバスト化に関する論文は"Robust Boosting Algorithm against Mislabelling in Multi-Class Problems"にまとめられ,雑誌Neural Computationに掲載が決定している。さらに,ブースティングを多値確率分布の推定に応用する研究を行った。これにより,判別関数だけを推定した場合と比較して,データに関するより精緻な推論を実行することを可能にした。この方法はラベル数が3以上であっても実行できるため,実用上非常に優れた推定法になっている。この成果は"Obtaining Conditional Probability Estimation from Multiclass Boosting"にまとめられIEICE Transactions on Information and Systems誌に掲載された。さらに確率分布の推定に適している損失関数に関する研究をすすめ、数値実験による検証を行った。この結果は、国際会議Algolithmic Learning Thery 2007において発表された。また能動学習の情報幾何学的な研究を行った。ブースティングの幾何的構造と類似の構造が,能動的学習の有効性を理解するのに役立つことを指摘して,最適なサンプリングによる能動学習法を提案した。この成果はNeurocomputing誌に掲載された。

今年我们主要进行不确定性下的Boosting和优化的理论研究。特别是，我们研究了与最优解的关系，并得出了理论上最优的损失函数。这有助于计算高效的学习算法的发展。此外，还进行了大规模数值实验来验证所提方法的有效性。包含这些考虑因素的关于增强鲁棒性的论文已被总结为“针对多类问题中错误标签的鲁棒增强算法”，并已决定在《神经计算》杂志上发表。此外，我们还研究了将Boosting应用于多级概率分布的估计。与仅估计判别函数的情况相比，这使得可以对数据执行更精确的推断。即使标签数量为3个或更多，该方法也可以执行，这使其成为实践中非常好的估计方法。结果被总结为“Obtaining Conditional Probability Estimation from Multiclass Boosting”并发表在 IEICE Transactions on Information and Systems 上。此外，我们还对适合估计概率分布的损失函数进行了研究，并通过数值实验进行了验证。这些结果已在 2007 年算法学习理论国际会议上公布。我们还进行了主动学习的信息几何研究。指出boosting的几何结构和类似结构有助于理解主动学习的有效性，提出了一种最优采样的主动学习方法。研究结果发表在《神经计算》杂志上。

项目成果

ブースティングと学習アルゴリズム 三人寄れば文殊の知恵は本当か

提升和学习算法：文殊菩萨的智慧是真的吗？

• 发表时间: 2005
• 期刊: 電子情報通信学会誌 88・9
• 作者: 村田昇;金森敬文;竹之内高志
• 通讯作者: 竹之内高志

Robust Boosting Algorithm against Mislabelling in Multi-Class Problems

针对多类问题中错误标签的鲁棒增强算法

• 发表时间: 2008
• 期刊: Neural Computation To appear
• 作者: Takenouchi;T.;Eguchi;S.;Murata;N.;Kanamori;T.
• 通讯作者: T.

Conditional Value-at-Risk Approach to Robust Optimization and Applications to Statistical Learning under Distribution Perturbation

稳健优化的条件风险值方法及其在分布扰动下统计学习的应用

• 发表时间: 2005
• 期刊: 情報論的学習理論ワークショップ予稿集 8巻
• 作者: 武田朗子;金森敬文
• 通讯作者: 金森敬文

区分線形パス追跡法による条件分位点パスの計算

使用分段线性路径追踪方法计算条件分位数路径

• 发表时间: 2005
• 期刊: 情報論的学習理論ワークショップ予稿集 8巻
• 作者: 竹内一郎;野村要;金森敬文
• 通讯作者: 金森敬文

Pool-based Active Learning with Optimal Sampling Distribution and its Information Geometrical Interpretation

最优采样分布的基于池的主动学习及其信息几何解释

• 发表时间: 2007
• 期刊: Neurocomputing 71
• 作者: Kanamori;T.,
• 通讯作者: T.,