ニューラルネットワークの計算能力評価に関する研究

神经网络计算能力评价研究

基本信息

批准号：
07780313
负责人：
松本哲也
金额：
$ 0.64万
依托单位：
Nagoya University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1995
资助国家：
日本
起止时间：
1995 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-07780313/
关键词：
neural network multilayer perceptron generalization geometrical property mapping capability curvature model selection

项目摘要

ニューラルネットワークのパターン認識への応用において,その汎化能力,すなわち未学習パターンの識別能力を解析することは重要な課題である.ニューラルネットワークの持つ汎化能力はその計算能力,すなわち写像能力によって規定されていると考えられる.本研究は,層数・ユニット数を指定した具体的構成における階層型ニューラルネットワークの計算能力を解析することにより,汎化能力を評価する基礎を確立するものである.具体的には,多層パーセプトロンの写像能力を,その値域での幾何学的計量によって評価し,多層パーセプトロンの構成と写像能力の関係を,シミュレーション実験を通じて考察した.実験結果より,全曲率で評価した多層パーセプトロンの写像能力は層数・素子数に対して単調に増加し,入力層に近い層の方が遠い層に比べて,素子数の増加に対する写像能力の増加率が高いことを明らかにした.さらに,少数標本時,すなわち汎化の問題が顕著となる条件下において,データの理論的分布を仮定しえない場合における階層型ニューラルネットワークのパターン識別能力・汎化能力についての検討を行った.現実の医用画像データを用いて階層型ニューラルネットワークのパターン識別能力を測定し,対数尤度比に基づく2次分類器による実験結果との相違をROC曲線を用いて評価した.実験の結果,少数の標本しか有効でない場合には,階層型ニューラルネットワークの計算能力自体は,高い潜在能力を示すにも関わらず,有効な学習が行われない場合があることが判明した.汎化能力を高めるためには,データに細工する程度の処理では不十分であり,汎化能力を考慮した構成の検討.学習が不可欠である.しかし,現時点においては,一般的な汎化能力向上学習法は開発されておらず,計算量の面から見ても,少数標本に対しては,高い能力の階層型ニューラルネットワークの構成は難しいという結論が得られた.

将神经网络应用于模式识别时，重要的是分析其泛化能力，即识别未学习模式的能力。神经网络的泛化能力由其计算能力（即其映射能力）决定。通过分析分层神经网络在具有指定层数和单元数的特定配置下的计算能力，为评估分层神经网络的泛化能力奠定了基础。具体来说，我们通过几何度量来评估多层感知器在其范围内的映射能力，并通过仿真实验考虑多层感知器的配置与映射能力之间的关系。根据实验结果，我们评估了总曲率。我们发现，分层感知器的映射能力随着层数和元素的数量单调增加，并且随着元素数量的增加，靠近输入层的层的映射能力的增加率高于较远的层。此外，当样本量较小时，泛化问题就变成了我们研究了当无法假设数据的理论分布时，分层神经网络的模式识别能力和泛化能力。我们测量了网络计算能力的模式辨别能力。尽管能力本身显示出很高的潜力，但人们发现，可能无法进行有效的学习。为了提高泛化能力，对数据进行操纵的程度是不够的，检查考虑到泛化能力的配置。学习。然而，目前还没有开发出提高泛化能力的通用学习方法，并且从计算复杂度来看，很难利用少量样本来构建高泛化能力的结论。 -性能分层神经网络。