理論統計学と機械学習理論の統合による新しいモデル選択規準の開発

通过整合理论统计和机器学习理论制定新的模型选择标准

基本信息

批准号：
05J10018
负责人：
小林景
金额：
$ 2.18万
依托单位：
The Institute of Statistical Mathematics
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2005
资助国家：
日本
起止时间：
2005 至 2007
项目状态：
已结题

项目摘要

線形回帰予測問題において,Kullback-Leiblerダイバージェンスを用いて,一様事前分布によるベイズ予測を優越し,ミニマクスとなる縮小事前分布を提案した論文を修正投稿し,採用された.また,本論文で提案されたスタイン型の縮小事前分布は,高次元であるほどリスクが大きく改善されることを実験的に確かめた.これにより,本手法がカーネルマシン等の高次元ヒルベルト空間の統計モデルに適用される可能性が高いことがわかった.一方,4月には1昨年から続くカリフォルニア大学バークレー校での海外長期研究期間の最終月として,これまで,バークレーでの講義,セミナー,共同研究等で得た知識をまとめた.特にここで得た大規模ランダム行列の知識および,統計数理研究所で数理物理学の研究者らとのセミナーで得た結果をもとに,カーネルグラム行列の主要な近似手法であるNystrom近似の計算量と近似精度の最適化手法を提案した.また,PAC学習や経験過程の手法を用いて,その手法における近似の一致性を示した.本研究者らが提案したカーネル正則化情報量規準(KRIC)は,サポートベクターマシンやカーネルロジスッテイク回帰などのカーネルマシンのカーネルや正則化パラメータの設定に用いることができるが,今回提案したNystrom近似の改良を用い得れば,KRICを効率よく計算することもでき,カーネルマシンのモデル選択における大規模行列計算の問題を解決する.本研究の内容は,9月の統計学会連合大会において発表された.

在线性回归预测问题中，我提交了一篇修改后的论文，提出了使用 Kullback-Leibler 散度的极小极大简化先验分布，其性能优于使用均匀先验分布的贝叶斯预测，并且我们通过实验证实了斯坦因的维数越高。 - 式中先验分布越小，风险改善越大。因此，发现该方法很有可能应用于核机等高维希尔伯特空间的统计模型。另一方面，4月，是大学长期海外研究期的最后一个月。加州，伯克利，从去年开始我总结了我在伯克利通过讲座、研讨会、联合研究等方式获得的知识。特别总结了我在这里获得的关于大规模随机矩阵的知识，以及我从统计数学研究所获得的知识。基于我们实验室数学物理研究人员在一次研讨会上获得的结果，我们提出了一种优化 Nystrom 逼近计算复杂度和逼近精度的方法，Nystrom 逼近是核-gram 矩阵的主要逼近方法。此外，使用 PAC 学习和经验过程方法，我们证明了这些方法中近似的一致性。当前研究人员提出的核正则化信息准则（KRIC）它可以用来设置核和核逻辑回归等核机器的核和正则化参数，但是如果能够使用这次提出的改进的Nystrom近似，就可以高效地计算KRIC，并且可以解决核大的问题机器模型选择中的尺度矩阵计算。这项研究的内容已在 9 月份的统计协会联合会会议上发表。