一般化ベイズ学習法の情報論的解釈と設計

广义贝叶斯学习方法的信息理论解释和设计

基本信息

批准号：
19K11825
负责人：
渡辺一帆
金额：
$ 2.75万
依托单位：
Toyohashi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

疎性に基づく推定法（スパース推定法）においては、疎性の度合いを決定する正則化パラメータを適切に設定する必要がある。経験ベイズ法による正則化パラメータの推定は、ベイズ法における事前分布の最適化問題と捉えることができるが、スパース推定法においては共役性が成り立たず計算が困難となる。時系列データから区分線形なトレンド成分を抽出するスパース推定法であるL1トレンドフィルタリングについて、局所変分近似による近似法を導出し、正則化パラメータの推定法を構築した。トレンド推定精度、変化点検出精度に関して、系列長から決まる一定値に基づく従来の推定法と数値実験による比較を行い、導出された推定法の有効性が示された。また時系列の滑らかさの仮定を一般化し、カルマンフィルタに基づく効率的な推定法を正則化パラメータとの同時推定の場合に拡張できることを示した。この成果について、共同研究者が情報理論分野の国際会議において発表した。データ解析において幅広い応用を持つサポートベクトル回帰はε不感応損失関数により構築されている。不感応パラメータεの最尤法およびベイズ法について、前年度までに得られた統計的推定精度の評価に基づき、人工データを用いて赤池情報量規準やベイズ情報量規準の適用可能性を検証した。カーネル法と組み合わせた場合にも、従来のモデル選択規準の適用可能性と改変による精度向上が確認された。正則化パラメータなどの他のパラメータもデータから設定する状況に拡張することで、カーネル関数の選択も含めた実用的なモデル選択法の基礎となることが示唆された。

在基于稀疏度（稀疏估计方法）的估计方法中，必须适当设置确定稀疏度的正则化参数。使用经验贝叶斯方法估算正则化参数可以看作是贝叶斯方法中先前分布的优化问题，但在稀疏估计方法中不能保持结合，从而使计算变得困难。对于L1趋势滤波，从时间序列数据中提取分段线性趋势成分的稀疏估计方法，得出了一种使用局部变异近似的近似方法，并构建了一种估计正则化参数的方法。关于趋势估计精度和变化点检测精度，使用数值实验与基于从序列长度确定的恒定值的常规估计方法进行了比较，并证明了派生估计方法的有效性。我们还概括了时间序列平滑度的假设，并表明基于卡尔曼过滤器的有效估计方法可以扩展到与正则化参数同时估计的情况下。合作者在信息理论领域的国际会议上介绍了这一发现。在数据分析中具有广泛应用的支持向量回归是由ε不敏感的损耗函数构建的。基于人工数据，基于对上一年最高的统计估计精度的评估，使用人工数据验证了无敏感参数ε的最大似然方法和贝叶斯方法。即使与内核方法结合使用，也已经确认了常规模型选择标准的适用性以及通过修改的准确性提高。有人建议，通过将其他参数（例如正则化参数）扩展到设置数据的情况，它构成了实用模型选择方法的基础，包括选择核函数。