確率重みを有する神経回路網の結合学習に関する研究

概率权重神经网络连接学习研究

基本信息

批准号：
09268237
负责人：
松山泰男
金额：
$ 0.77万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1997
资助国家：
日本
起止时间：
1997 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-09268237/
关键词：
EMアルゴリズム一般化対数最尤推定確率重み神経回路網

项目摘要

研究成果は、次のような三つの項目として表される。(a)一般化されたEMアルゴリズムの構築一般化された分離情報量は対数の一般化クラスを与え、これに基づいてEMアルゴリズムを導出すると、従来のEMアルゴリズムを特別な場合として含む「確率重み付きEMアルゴリズム(WEM)」が得られた。そして、このアルゴリズムの導出に際して、フィッシャー情報量やフィッシャー・スコアーそしてクラメール・ラオの推定限界の一般化が得られた。これは、対数尤度の最大化を図っていた従来の最尤推定法そのものを拡張したことになっている。(b)混合エキスパート型神経回路網新たに得られたWEMアルゴリズムは一般化対数に基づくものであるが、近似を必要としない閉じた繰り返しアルゴリズムとしての計算が可能であることも分かった。この一般化対数はパラメータαをもち、単調増加関数族を構成している。そして、その特別な場合が従来の対数となっている。このパラメータαは学習行列の正定値性を調整することができ、その正定値性の限界付近で、高速学習性が実現されることが判明したWEM構造においては、順方向の入出力流にその逆方向の入出力流を組み合わせて一対の学習構造とすることができることが判明した。これは一つの学習的機能ブロックとして働くことができる。そしてこれらの機能ブロックを継続接続すると階層構造が実現でき、求心性と遠心性の両方の情報経路を生成できることが分かった。以上のように、今年度は新たな確率モデルの提案を行い、当初予想以上の高速学習性を得て今後の機能モデルの議論への道筋をつけることができた。

研究结果可以表示为以下三个项目：（a）构建广义的EM算法（广义分开信息量）提供了一般的对数类别，并且基于此，EM算法给出了“概率加权EM算法（WEM）”，其中包括常规EM算法作为特殊案例。在得出该算法，信息量的概括时，获得了Fisher评分和Kramer Rao的估计限制。这是常规最大似然估计方法的扩展，该方法旨在最大化对数可能性。（b）新获得的WEM算法的混合专家神经网络基于广义对数，但还发现计算可以作为不需要近似值的封闭迭代算法进行的计算。该广义对数具有参数α，并构成一组单调增加的功能。这种特殊情况是常规对数。该参数α可以调整学习矩阵的正面确定性，并且在WEM结构中，已发现以正定性的限制获得高速学习，已经发现可以将正向输入/输出流量和反向输入/输出流程组合在一起以形成一对学习结构。这可以充当学习功能障碍。已经发现，通过持续连接这些功能块，可以实现层次结构，并且可以生成信息路径，包括传入和离心。如上所述，今年我们提出了一种新的概率模型，该模型的学习速度比最初预期的要快，使我们能够为将来的功能模型讨论。