アンサンブル自己生成ニューラルネットワークのオンライン枝刈りアルゴリズムの研究

集成自生成神经网络在线剪枝算法研究

基本信息

批准号：
15700206
负责人：
井上浩孝
金额：
$ 2.3万
依托单位：
Kure National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2003
资助国家：
日本
起止时间：
2003 至 2004
项目状态：
已结题

项目摘要

本研究では、アンサンブル自己生成ニューラルネットワークの汎化能力を枝刈り前より改善し、かつ記憶容量を更に削減する効率的なオンライン枝刈り法を提案し、従来の手法であるk-近傍法、C4.5と汎化能力、計算コストを総合的に比較検討した。既発表の枝刈り法は全てのデータを提示して木を構築した後に枝刈りを行っているが、本研究では木を構築する際に逐次枝刈りを行うことで探索効率を改善し、計算コストを削減した。また、枝刈りの際、しきい値を用いて、ある部分木内の最多クラスがしきい値以上の割合を占有すれば、最多クラスを代表クラスとしてその部分木を刈り取ることで枝刈りを行い、冗長な情報を削減し、汎化能力を改善した。このしきい値の決定には、10群交差検定法を用いた。以下、年度ごとに研究実績を示す。平成15年度、高性能かつ安定なワークステーション上でアンサンブル自己生成ニューラルネットワークのオンライン枝刈りアルゴリズムを開発した。具体的には、UCI機械学習リポジトリに保管されているベンチマーク問題に対して本提案アルゴリズムを適用し、枝刈り前のモデルと計算コスト(計算時間、記憶容量)、得られた解の精度を比較検討した。また、本手法の有効性を検証するため、既存の手法であるk-近傍法との比較を同一環境で実験した。得られた結果を国際会議、国内の学会に投稿し、国内外の研究者のコメントを採り入れて新たな観点から再実験を行うことで研究の質を高めた。平成16年度は、平成15年度に得られた実験結果、新たな観点から行った再実験の結果を基に、研究成果を公表した。具体的には、国際会議で発表を行い、研究成果を電子情報通信学会論文誌D-II(情報・システム-パターン認識)に論文として投稿した。更に、関連研究を進め、IEEE等の海外の主要国際会議に研究成果を投稿した。

在这项研究中，我们提出了一种有效的在线修剪方法，该方法从修剪之前提高了集合自我生成的神经网络的概括能力并进一步降低了记忆能力，并与常规的K-Neighborhood方法和C4.5全面比较了概括能力和计算成本。先前发表的修剪方法涉及在介绍所有数据并构造树后进行修剪，但是在这项研究中，修剪在构造树时依次执行，提高搜索效率并降低计算成本。此外，在修剪时，如果子树中的最多级别的属性高于阈值，则最多的班级用于将子树作为代表性班级和分支进行修剪，从而减少冗余信息并提高概括能力。使用10组交叉验证方法确定此阈值。以下是每年的研究结果。 2003年，我们开发了一种在线修剪算法，用于在高性能和稳定的工作站上进行集合自我生成的神经网络。具体而言，将所提出的算法应用于UCI机器学习存储库中存储的基准问题，并将修剪之前的模型与计算成本（计算时间，存储容量）进行了比较，并比较获得的解决方案的准确性。此外，为了验证该方法的有效性，我们在相同的环境中进行了与现有方法K-Near-neighborhood方法的比较。获得的结果已提交国际会议和国内学术会议，并通过考虑国内和国际研究人员的评论并从新的角度进行了新的实验，从而提高了研究质量。 2004年，根据2003年获得的实验结果以及从新的角度进行的重新实验结果发表了研究结果。具体而言，该演讲是在国际会议上进行的，研究结果已提交给电子，信息和通信工程师研究所的D -II（信息和系统 - 模式识别）。此外，进行了相关的研究，并将研究结果提交给IEEE等主要国际会议。

项目成果

期刊论文数量（12）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

H.Inoue, H.Narihisa: "SONG : Self-Organizing Neural Grove"Proc.of 3^<rd> International Workshop on Self-Organizing Maps. (2003)

H.Inoue、H.Narihisa：“SONG：自组织神经树丛”Proc.of 3^<rd> 国际自组织映射研讨会。

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

H.Inoue, H.Narihisa: "Efficient Pruning Method for Ensemble Self-Generating Neural Networks"Journal of Systemics, Cybernetics and Informatics. Vol.1, No.6. (2003)

H.Inoue、H.Narihisa：“集成自生成神经网络的高效剪枝方法”系统学、控制论和信息学杂志。

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

Improving Performance of a Multiple Classifier System Using Self-generating Neural Networks

DOI：
10.1007/3-540-44938-8_26
发表时间：
2003-06
期刊：
影响因子：
0
作者：
H. Inoue;H. Narihisa
通讯作者：
H. Inoue;H. Narihisa

Parallel and Distributed Performance of Self-Organizing Neural Grove

自组织神经丛的并行分布式性能

DOI：
发表时间：
2004
期刊：
Proc.of The 16th International Conference on Parallel Distributed Computing and Systems
影响因子：
0
作者：
Hirotaka Inoue;Hiroyuki Narihisa
通讯作者：
Hiroyuki Narihisa

Effective Pruning Method for a Multiple Classifier System Based on Self-Generating Neural Networks