学習におけるスパース表現と並列処理に関する研究

学习中的稀疏表示和并行处理研究

基本信息

批准号：
05267209
负责人：
松山泰男
金额：
$ 0.77万
依托单位：
Ibaraki University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1993
资助国家：
日本
起止时间：
1993 至无数据
项目状态：
已结题

项目摘要

本研究は,コネクショニズム的情報表現について,どのような学習ペナルティを課せば望ましい性能を得られるのかについて調べることを課題としている.まず競合学習についてであるが,Mをニューロンの数,Nをデータの数とすると,次のような二つの場合がある.[M<N型]まず,研究代表者は,ダイバージェンスを付加項に加えることにより,log-conscienceという競合ペナルティを導出した.この量をバイアスとする学習を行うと,劣悪な局所最適解に捕まることが少なくなる.さらに,この対数バイアスを用いて重みベクトルの突然変異を行うと,学習結果はほぼ問違いなく大域最適解の周辺に収束することを確認できた.[M<N型]これは正則化の問題となっている.具体例としては,従来の組合わせ最適化法では近似解すら求まっていなかったextended vehicle routing問題を取り上げ,良好な近似解を得ることができた.誤差逆伝播学習における付加項の問題については,ダイバージェンス層とエントロピ属について調べた.凸型の出力ペナルティは,連続値を扱う場合のスパースコーディングに相当している.排他適論理和のように0-1パターンを入力とする場合には,凹型であるダイバージェンスを用いると,誤差が一桁以上も小さくなることを確認できた.また,結合重みに対してダイバージェンスをペナルティとして課しても,結合の間引き効果が現れることを発見した.以上のように,今年度の研究課題として設定した学習時のペナルティ項は,パターンのコーディン方法に深く影響し,性能を向上させるものであることが分かった.

本研究的目的是研究可以施加什么样的学习惩罚以获得连接信息表示的期望性能。首先，对于竞争学习，M 是神经元的数量，N 是数据的数量。，有如下两种情况： [M<N型] 首先，主要研究者通过在加法项上添加散度来创建一个称为对数良心的竞争性难题。如果我们使用这个量作为偏差进行学习，我们将不太可能被较差的局部最优解所捕获。此外，如果我们使用这个对数偏差来改变权重向量，学习结果将几乎是正确的。肯定收敛于全局最优解。这是一个正则化问题，在传统的组合优化方法中，甚至无法找到不扩展的近似解。车辆我们解决了路由问题，并且能够获得良好的近似解。关于误差反向传播学习中的加性项问题，我们研究了散度层和熵亏格，它对应于稀疏编码。使用 0-1 模式，例如异或、凹散度。我们能够确认，通过使用散度，误差减少了一个数量级以上。我们还发现，即使将散度作为连接权重的惩罚，也会出现连接稀疏效应。学习过程中的惩罚项被定为今年的研究课题，它深刻地影响了模式编码方法并提高了性能。