識別可能性が失われる場合の多層パーセプトロンの統計的性質に関する研究

可识别性丧失时多层感知器统计特性研究

基本信息

批准号：
15700187
负责人：
萩原克幸
金额：
$ 1.6万
依托单位：
Mie University (2004-2005)Nagoya Institute of Technology (2003)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2003
资助国家：
日本
起止时间：
2003 至 2005
项目状态：
已结题

项目摘要

本研究では,パラメトリックな関数の線形結合で表される関数のクラスについて,VC次元が有界であるという緩い仮定の下で,関数に対するある種の制約が最尤推定の下での学習誤差のオーダーに直接関係することを示した.このクラスの関数は,有界な関数gの定数倍として,パラメトリゼーションを変えても尤度の値は不変であることから,入力が与えられた下での関数gのノルムが下からδ(n)で抑えられるという制約を考え,学習誤差の上界がこのδ(n)にして,O_p(log(n))やO_p(loglog(n))となることを示した.ただし,nはデータ数である.特異でないモデルの場合,統計的漸近論に基づく一般的な結果では,学習誤差はO_p(1)であるが,多層パーセプトロンを含む上記の関数のクラスのような特異モデルの場合,学習誤差はO_p(log(n))であることが示されていた.本研究の結果は,こうした学習誤差の振る舞いが上記の制約と直接関係することを示したものであり,この制約が特異モデルの性質を特徴付ける上で本質的であることが明らかとなった.また,この結果に基づき,ガウシアン素子の学習において,幅パラメータの推定値はいくらでも小さくなりうることが示された.これは,経験的に知られていた事実であり,正則化の導入の根拠となるものである.したがって,本研究では,それに対する理論的証証拠を与えたことになる.この結果は,現在,Neural Netwrorks誌に投稿中である.多層パーセプトロンを含む一般的な場合についてのモデル選択規準については,まだ,研究中であるが,パラメトリックな基底関数の線形結合で表される比較的単純なモデルについては,縮小推定の下でのモデル選択規準を与え,それが強い意味での選択の一致性をもつことを示した.この結果は,Journal of Statistical Planning and Inferenceに掲載された.また,同じモデルに対する縮小推定の下での学習誤差・汎化誤差の期待値の評価については,IEICE Transactionに投稿中である.

在本研究中，对于由参数函数的线性组合表示的一类函数，我们假设 VC 维数是有界的，并且对函数的某些约束减少了最大似然估计下的学习误差。与阶数直接相关。作为有界函数 g 的常数倍，即使参数化改变，似然值也保持不变。因此，考虑到给定输入下函数g的范数被δ(n)从下抑制的约束，学习误差的上限设置为这个δ(n)，并且O_p(log(n) )和 O_p(loglog(n))，其中 n 是数据的数量。对于非奇异模型，基于统计渐近理论的一般结果是学习误差为 O _p(1)，但是对于奇异模型，例如包括多层感知器的上述一类函数，学习误差被证明为 O_p(log(n))。本研究的结果表明，这表明学习误差的行为与上述约束直接相关，并且显然该约束对于表征奇异模型的属性至关重要。基于这个结果表明，高斯元学习中宽度参数的估计值可以尽可能小，这是已知的经验事实，因此，在本研究中，我们为此提供了理论证据。这个结果是目前引入神经网络的基础涉及多层感知器的一般情况的模型选择标准仍在研究中，但对于由参数基函数的线性组合表示的相对简单的模型，目前正在提交给 Networks，我们给出了减少估计下的模型选择标准，并表明：它具有很强的选择一致性。该结果发表在《统计规划与杂志》上。它发表在 Inference 上。此外，同一模型在减少估计下的学习误差和泛化误差的期望值的评估目前正在提交给 IEICE Transaction。