階層型ニューラルネットワークの内部表現と汎化能力の関係解明に関する研究

阐明层次神经网络内部表示与泛化能力关系的研究

基本信息

批准号：
10780247
负责人：
渡邊栄治
金额：
$ 1.09万
依托单位：
Fukuyama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1999
资助国家：
日本
起止时间：
1999 至无数据
项目状态：
已结题

项目摘要

本年度は,関数近似問題を対象として,階層型ニューラルネットワーク(階層型NN)の内部表現と汎化能力の関係について検討した.まず,関数近似問題を対象とする場合,(i)補間性能および(ii)外延的類推(予測)性能が汎化能力として定義した.つぎに,観測雑音が付加された学習データに対して誤差逆伝搬法を適用した場合,過学習と呼ばれる現象が生じ,上述の汎化能力が劣化することを具体的に示した.さらに,以下に示す内部表現を表すための指標を基にして,過学習による汎化能力の劣化原因を定量的に説明した.・過剰自由度:荷重係数に関するエントロピーに着目した情報量規範を導入することにより,階層型NNの実質的な自由度を算出した.・中間層と出力層間における線形性の評価:主成分分析法に基づいた中間層および出力層間の線形化精度評価手法を導入することにより,関数近似能力に対する各中間層ユニットの適切さを評価することが可能となった.また,この検討結果を踏まえ,汎化能力を改善するための学習法を提案し,以下のような具体的な実問題に適用し,良好なモデリング精度(汎化能力)を獲得することができた.・画像の領域分割:画像の領域分割における誤差に関する偏差と分散のバランスを保つように,各領域の特徴に対応して複数の階層型NNを適応的に割り当てることが可能な手法を提案し,実画像に対する有効性を定量的および定性的な両面から評価した。・非定常信号処理:時変係数を伴って変動する音響信号を対象とし,内部表現(荷重係数)の変動に着目した信号の分割処理と信号予測手法を提案し,実データに対する評価を行なった.

今年，我们研究了分层神经网络（hierarchical NN）的内部表示与其泛化能力之间的关系，针对函数逼近问题，首先，当针对函数逼近问题时，（i）插值性能和（ii）广泛类比（预测）性能被定义为泛化能力。接下来，将误差反向传播方法应用于添加了观察噪声的学习数据。我们具体表明，当这种情况发生时，就会出现一种称为过拟合的现象，并且上述泛化能力会恶化。此外，基于下面所示的表达内部表示的指标，由于过拟合而产生的泛化能力是我们定量解释的原因恶化计算-隐含层与输出层之间的线性度评价：通过引入基于主成分分析方法的隐含层与输出层之间的线性化精度评价方法，评价各隐含层单元在函数逼近能力方面的适当性。此外，基于本研究的结果，我们提出了一种提高泛化能力的学习方法，并演示了以下具体实现。通过将其应用于该问题，我们能够获得良好的建模精度（泛化能力） - 图像区域分割：为了保持与图像区域分割中的误差相关的偏差和方差之间的平衡，我们对每个区域的特征进行了表征。提出了一种可以自适应分配多个层次神经网络的方法，并定量和定性地评估其在真实图像上的有效性。・非稳态信号处理：针对随时间变化的系数波动的声学信号，我们提出了关注内部表示（加载系数）波动的信号划分处理和信号预测方法，并在实际数据上进行了评估。