Neural networks with excellent abilities in learning and recognition problems for complex patterns

神经网络在复杂模式的学习和识别问题方面具有出色的能力

• 批准号: 15500150
• 负责人: FUJIKI Nahomi M.
• 金额: $ 0.64万
• 依托单位: Sendai National College of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-15500150/
• 关键词: Neural network; Kullback Divergence; Error Back Propagation; Identification; Scalability; Multi-layered network; Learning Algorithm; 汎化能力; 手書き文字; 認識能力; 確率ニューロン; 逆問題

Error back propagation is a well-known and powerful supervised learning algorithm for feed-forward multi-layered neural networks, but it is known to introduce the problem of its learning process being often trapped in a meta-stable state. It has been reported that the error back propagation algorithm with Kullback divergence instead of conventional quadratic error as an error measure demonstrates an excellent learning tendency and is expected to be applicable to various problems, even without the foreknowledge of their optimal network size.We have studied this algorithm carefully based on the identification problem of handwritten numerical characters and discussed its abilities such as scalability, flexibility, damage tolerance, and recognition of unlearned data. The numerical studies have been done on the three-layered feed-forward network ; an input layer, a hidden middle layer with various numbers of neurons up to 8129, and an output layer. Results of numerical studies indicate that this learning algorithm can have high generalization ability and be sufficiently powerful for practical use. Those network abilities are also improved by increasing its size. If we prepare an enough size of network, we could easily obtain the identification rate of higher than 99% after a few learning steps and recognition rate for unlearned characters over 90%.Those research results have been published on several papers in Research Reports on Sendai National College of technology, and also presented the papers at various conferences such as Tohoku-section Joint Convention of Institutes of Electrical And Information Engineers.

错误背传播是一种众所周知且强大的监督学习算法，用于馈电多层神经网络，但众所周知，它引入了其学习过程经常被困在元稳定状态的问题。据报道，误差差异差异而不是常规二次误差，作为错误度量的错误反向传播算法证明了出色的学习趋势，预计将适用于各种问题，即使没有对其最佳网络大小的预见，我们也仔细研究了该算法的努力，并在其上进行了努力，并在范围内进行了研究，例如，范围的努力范围却在范围内进行了范围，并在范围内进行了努力。未学习的数据。数值研究是在三层馈送前网络上进行的。输入层，一个隐藏的中间层，具有多达8129的神经元的各种神经元，以及一个输出层。数值研究的结果表明，该学习算法可以具有很高的泛化能力，并且足以实现实际使用。这些网络能力也通过增加其大小来提高。如果我们准备了足够大的网络，我们可以轻松地获得超过90％的学习步骤和认可率的99％的识别率，超过90％。这些研究结果已在有关Sendai国家技术学院的研究报告中发表了几篇论文，并在各种会议上介绍了Toohoku Section section Contightence of Electic and Interalical和Electrical和Electrical和信息信息机构的论文。

项目成果

カルバック測度を用いたエラーバックプロパゲーション学習則の学習及び識字能力の評価

使用 Kullback 度量学习误差反向传播学习规则并评估读写能力

• 发表时间: 2003
• 期刊: 仙台電波工業高等専門学校紀要 33
• 作者: Fujiki Nahomi M.;Baba Yoji;Harada Yusuke;藤木なほみ
• 通讯作者: 藤木なほみ

カルバック測度をエラー測度とするニューラルネットワークの認識と汎化能力の検討

使用 Kullback 测度作为误差测度检验神经网络的识别和泛化能力

• 发表时间: 2004
• 期刊: 仙台電波工業高等専門学校紀要 34
• 作者: Fujiki Nahomi M.;Sasaki Ryutarou;Fujiki Sumiyoshi;藤木なほみ
• 通讯作者: 藤木なほみ

Learning and Identification abilities of Error Back Propagation Algorithm with Kullback Divergence

Kullback散度误差反向传播算法的学习与识别能力

• 发表时间: 2003
• 期刊: Research Reports of Sendai National College of Technology No.33
• 作者: Fujiki Nahomi M.;Baba Yoji;Harada Yusuke
• 通讯作者: Harada Yusuke

フィードフォワード型確率的層状ニューラルネットワークの学習能力

前馈随机分层神经网络的学习能力

• 发表时间: 2004
• 期刊: 仙台電波工業高等専門学校研究紀要 34
• 作者: 藤木なほみ;藤木なほみ
• 通讯作者: 藤木なほみ

藤木なほみ: "カルバック測度を用いたエラーバックプロパゲーション学習則の学習及び認識能力の評価"仙台電波工業高等専門学校研究紀要. 33. 65-70 (2003)

Nahomi Fujiki：“使用 Kullback 度量的误差反向传播学习规则的学习和识别能力的评估”仙台国立技术大学研究报告 33. 65-70 (2003)。