ニューラルネットワーク型非線形システムの設計及び実装に関する研究

神经网络型非线性系统的设计与实现研究

基本信息

批准号：
06J09473
负责人：
郭駿
金额：
$ 1.22万
依托单位：
Kyushu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2006
资助国家：
日本
起止时间：
2006 至 2007
项目状态：
已结题

项目摘要

本年度は、主に以下の二つの研究を行った。一つは、非線形回帰のための効率的分割法の収束性解析である。大量の訓練サンプルを扱う場合、Support Vector Machine(SVM)では大規模な凸2次計画問題を解かねばならず、これが学習時間の増大を招き、最悪の場合、求解すら困難になってしまう。この問題を解決するために、分割法が広く用いられている。分割法では、大規模凸二次計画問題が一連の小規模凸二次計画問題に分割され、各小規模問題は元の問題よりもずっと高速に解けるため、全体の計算時間も短くなる。去年の研究では、非線形回帰問題に対するSequential Minimal Optimization (SMO)という分割法の開発と収束性証明をした。今年は、一般的な分割法を考え、伝統的な大域収束定理により、FlakeとLawrenceによって定式化された凸二次計画問題に対する分割法が有限回の反復で停止することを証明した。もう一つは、SVMの分割法におけるWorking Setの選択である。分割法では、小規模最適化問題を繰り返し解くことによって、元の最適化問題の解を求める。元の最適化問題の変数の一部を取り、ほかの変数を固定するのはWorking Setの選択という。分割法の収束のスピードがWorking Setの選び方に大変依存する。従来は、最急降下法に基づいて選択する。これは、解の収束が遅いという欠点がある。本研究では、この欠点を克服するために生まれた共役勾配法を使っていた。理論的には全ての探索方向が直交するので、制約なしの最小化問題を解く際、探索空間の次元数の繰り返しで最小値を求めることができるという利点がある。実験では、大規模なデータを使い、共役勾配法の有効性を検証した。

今年，我们主要开展了以下两项研究。一是非线性回归有效划分方法的收敛性分析。当处理大量训练样本时，支持向量机（SVM）必须解决大规模凸二次规划问题，这会增加学习时间，并且在最坏的情况下变得难以解决。为了解决这个问题，分区方法被广泛使用。在划分方法中，一个大规模的凸二次规划问题被划分为一系列较小的凸二次规划问题，每个问题的求解速度都比原始问题快得多，从而减少了整体计算时间。在去年的研究中，我针对非线性回归问题开发了一种称为顺序最小优化（SMO）的划分方法，并证明了其收敛性。今年，我们考虑了一种通用的划分方法，并利用传统的全局收敛定理证明了 Flake 和 Lawrence 提出的凸二次规划问题的划分方法在有限次迭代后停止。另一个问题是SVM划分方法中工作集的选择。在划分方法中，通过重复求解小规模优化问题来获得原始优化问题的解。选取原始优化问题的一些变量并固定其他变量称为工作集选择。划分方法的收敛速度很大程度上取决于工作集的选择。传统上，选择是基于最速下降法。这样做的缺点是解收敛速度慢。在本研究中，我们使用了共轭梯度法，该方法是为了克服这个缺点而开发的。理论上，所有搜索方向都是正交的，因此在解决无约束最小化问题时，有一个优点是可以通过重复搜索空间的维数来找到最小值。在实验中，我们使用大规模数据来验证共轭梯度法的有效性。