ニューラルネットワークの計算能力評価に関する研究

神经网络计算能力评价研究

• 批准号: 07780313
• 负责人: 松本 哲也
• 金额: $ 0.64万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1995
• 资助国家: 日本
• 起止时间: 1995 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-07780313/
• 关键词: neural network; multilayer perceptron; generalization; geometrical property; mapping capability; curvature; model selection; neural network; multilayer perceptron; generalization; geometrical property; mapping capability; curvature; model selection

ニューラルネットワークのパターン認識への応用において,その汎化能力,すなわち未学習パターンの識別能力を解析することは重要な課題である.ニューラルネットワークの持つ汎化能力はその計算能力,すなわち写像能力によって規定されていると考えられる.本研究は,層数・ユニット数を指定した具体的構成における階層型ニューラルネットワークの計算能力を解析することにより,汎化能力を評価する基礎を確立するものである.具体的には,多層パーセプトロンの写像能力を,その値域での幾何学的計量によって評価し,多層パーセプトロンの構成と写像能力の関係を,シミュレーション実験を通じて考察した.実験結果より,全曲率で評価した多層パーセプトロンの写像能力は層数・素子数に対して単調に増加し,入力層に近い層の方が遠い層に比べて,素子数の増加に対する写像能力の増加率が高いことを明らかにした.さらに,少数標本時,すなわち汎化の問題が顕著となる条件下において,データの理論的分布を仮定しえない場合における階層型ニューラルネットワークのパターン識別能力・汎化能力についての検討を行った.現実の医用画像データを用いて階層型ニューラルネットワークのパターン識別能力を測定し,対数尤度比に基づく2次分類器による実験結果との相違をROC曲線を用いて評価した.実験の結果,少数の標本しか有効でない場合には,階層型ニューラルネットワークの計算能力自体は,高い潜在能力を示すにも関わらず,有効な学習が行われない場合があることが判明した.汎化能力を高めるためには,データに細工する程度の処理では不十分であり,汎化能力を考慮した構成の検討.学習が不可欠である.しかし,現時点においては,一般的な汎化能力向上学習法は開発されておらず,計算量の面から見ても,少数標本に対しては,高い能力の階層型ニューラルネットワークの構成は難しいという結論が得られた.

在将神经网络应用于模式识别中，重要的是要分析其概括能力，即区分未学习模式的能力。神经网络的概括能力被认为是由其计算能力（即映射能力）定义的。这项研究通过分析指定的层和单元数量的具体配置中分析层次神经网络的计算能力来建立评估概括能力的基础。具体而言，通过其范围的几何测量值评估了多层感知能力的映射能力，并通过模拟实验检查了多层感知能力的结构与映射能力之间的关系。从实验结果中可以看出，在总曲率下进行评估的多层感知能力的映射能力，相对于层和元素的数量单调增加，并且接近输入层的图层的映射能力的提高比在层中较远的图层高。此外，当使用次要样本时，概括问题就是问题。当在突出条件下不能假设数据的理论分布时，我们研究了层次神经网络的模式识别和概括能力。使用真实的医学图像数据测量了层次神经网络的模式识别能力，并使用ROC曲线评估了基于对数可能性比率的二次分类器的实验结果的差异。实验结果表明，当只有几个样本有效时，层次神经网络的计算能力即使表现出很高的潜在潜力也可能没有有效。为了提高概括能力，在制作数据的范围内处理不够，并且考虑了概括能力考虑。学习至关重要。但是，在这一点上，尚未开发出概括能力改进的学习方法，得出的结论是，从计算复杂性的角度来看，很难构建具有较高样本能力的分层神经网络。