機械学習の情報幾何学的解析

机器学习信息几何分析

基本信息

批准号：
08780255
负责人：
池田和司
金额：
$ 0.7万
依托单位：
Kanazawa University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1996
资助国家：
日本
起止时间：
1996 至无数据
项目状态：
已结题

项目摘要

本研究は、機械学習において、与えられた例題の数と機械の性能の関係を、情報幾何学的手法により理論的に解決しようというものである。本研究では、学習の良さの評価に予測誤差を用いる。予測誤差とは、新規の問題がランダムに選ばれて与えられた時の機械の出力誤差の期待値である。その値は与えられた例題に依存するので、例題もランダムに選ばれるとしてその期待値をとる。それにより、予測誤差は与えられた例題数の関数になる。パラメータに対して出力が滑らかな関数である機械の予測誤差はパラメータ数m、例題数tの時にm/tとなることが知られているが、滑らかでない機械で最も単純な、線形分離機械では0.66m/tになることが実験的に知られている。そこで、線形分離機械の予測誤差を調べた。線形分離機械では与えられた例題が半球面上の点群になることを利用し、積分幾何学を用いて点群の凸包の面の数の期待値を求め、これとオイラの関係式から予測誤差の新しいバウンドを導いた。また、与えられたデータが不完全である場合についても考察した。不完全データから、欠損部分とパラメータの双方を反復的に推定する方法として、EMアルゴリズムがよく知られている。本研究では、例題数が大きく漸近論が適用可能である場合に、EMアルゴリズムで推定されたパラメータがどのような分布に従うかを調べた。その結果、真のパラメータを推定モデル空間に射影した点を中心とする正規分布をすることがわかった。原理的には、推定パラメータの分布から予測誤差が求められるのであるが、分布自体が複雑な式で表されるために予測誤差の導出には至らなかった。これが今後の課題である。

这项研究旨在从理论上解决给定示例问题的数量与使用机器学习中信息几何技术的机器性能之间的关系。在这项研究中，预测错误用于评估学习质量。当随机选择新问题并给出新问题时，预测错误是机器输出错误的预期值。该值取决于给定的示例，因此也随机选择了示例，并采用了预期值。这导致预测误差是给定数量示例的函数。众所周知，当参数的数量为m和示例t的数量时，其输出的计算机的预测误差为m/t，但实验已知的线性分离机（最简单的机器中最简单）是0.66m/t。因此，我们研究了线性分离机的预测误差。在线性分离机中，我们使用了以下事实：一个给定的示例变成半球表面上的点云，并使用积分几何形状来计算点云的凸壳凸面的面孔数量的预期值，并从该和我的关系中得出了预测错误的新限制。我们还考虑了给定数据不完整的情况。 EM算法众所周知是迭代估算丢失零件和来自不完整数据的参数的方法。在这项研究中，我们研究了当示例数量较大并且适用渐近理论时，由EM算法估计的参数的分布。结果，发现正态分布围绕着将真实参数投射到估计模型空间的点。原则上，预测误差是由估计参数的分布确定的，但是分布本身由复杂方程表示，因此不能得出预测误差。这是未来的挑战。