確率重みを有する神経回路網の結合学習に関する研究

概率权重神经网络连接学习研究

基本信息

批准号：
09268237
负责人：
松山泰男
金额：
$ 0.77万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1997
资助国家：
日本
起止时间：
1997 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-09268237/
关键词：
EMアルゴリズム一般化対数最尤推定確率重み神経回路網

项目摘要

研究成果は、次のような三つの項目として表される。(a)一般化されたEMアルゴリズムの構築一般化された分離情報量は対数の一般化クラスを与え、これに基づいてEMアルゴリズムを導出すると、従来のEMアルゴリズムを特別な場合として含む「確率重み付きEMアルゴリズム(WEM)」が得られた。そして、このアルゴリズムの導出に際して、フィッシャー情報量やフィッシャー・スコアーそしてクラメール・ラオの推定限界の一般化が得られた。これは、対数尤度の最大化を図っていた従来の最尤推定法そのものを拡張したことになっている。(b)混合エキスパート型神経回路網新たに得られたWEMアルゴリズムは一般化対数に基づくものであるが、近似を必要としない閉じた繰り返しアルゴリズムとしての計算が可能であることも分かった。この一般化対数はパラメータαをもち、単調増加関数族を構成している。そして、その特別な場合が従来の対数となっている。このパラメータαは学習行列の正定値性を調整することができ、その正定値性の限界付近で、高速学習性が実現されることが判明したWEM構造においては、順方向の入出力流にその逆方向の入出力流を組み合わせて一対の学習構造とすることができることが判明した。これは一つの学習的機能ブロックとして働くことができる。そしてこれらの機能ブロックを継続接続すると階層構造が実現でき、求心性と遠心性の両方の情報経路を生成できることが分かった。以上のように、今年度は新たな確率モデルの提案を行い、当初予想以上の高速学習性を得て今後の機能モデルの議論への道筋をつけることができた。

研究结果表现在以下三项。 (a) 广义 EM 算法的构造广义分离信息给出了广义的对数类，当基于此导出 EM 算法时，包括传统 EM 算法在内的“概率权重”作为特殊情况 EM 算法（ WEM）”获得。在推导该算法时，获得了 Fisher 信息、Fisher 分数和 Cramer-Rao 估计极限的概括。这是传统最大似然估计方法的扩展，旨在最大化对数似然。 (b)混合专家神经网络虽然新获得的WEM算法是基于广义对数的，但也发现计算可以作为不需要近似的封闭迭代算法来执行。这个广义对数有一个参数 α 并且构成了一系列单调递增函数。这个特殊情况就是传统的对数。这个参数α可以调整学习矩阵的正定性，在已经发现在正定极限附近实现高速学习的WEM结构中，可以调整学习矩阵的正定性人们发现，相反方向的输入和输出流可以组合成一对学习结构。这可以充当学习功能块。研究发现，通过不断连接这些功能块，可以实现层次结构，并可以生成传入和传出信息路径。如上所述，今年我们提出了一种新的概率模型，实现了比最初预期更快的学习速度，并为未来功能模型的讨论铺平了道路。