速い学習と遅い学習を組み合わせた高速適応能力を損なわない素子数削減法

一种在不牺牲高速适应能力的情况下结合快速学习和慢速学习的减少元素数量的方法

基本信息

批准号：
11780264
负责人：
山内康一郎
金额：
$ 1.02万
依托单位：
Hokkaido University (2000)Nagoya Institute of Technology (1999)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1999
资助国家：
日本
起止时间：
1999 至 2000
项目状态：
已结题

项目摘要

神経回路などのモデルベースの学習機械は,テーブルルックアップ手法等のように全事例記憶型の学習機械に比べて少ないパラメータ数で実現できるため,小規模な計算機でも高度な能力を実現できるという特徴を持つ.しかし,神経回路の従来の学習方法では,追加的な学習を行わせると,一部の記憶を忘却すると言う問題がある.これは少ないパラメータに多くの事例を集約させて記憶させるためであり,一つのパラメータを別の事例に合わせるように学習させると,過去に提示した事例の記憶を破壊するのである.これを防ぐには,神経回路に冗長なパラメータ(中間細胞)を増やせばある程度防ぐことが可能だが,これではテーブルルックアップ手法と変わり無く,神経回路を使うメリットが無くなってしまう.そこで昨年度は、認識を専門に行うMain Networkと,昼間に暫定的にテーブルルックアップ手法と似た形で新規事例を高速に学習するFast-Learning-Network(F-Net),夜の間にF-Netの学習結果を少ないパラメータに圧縮し記憶するSlow-Learning-Network(S-Net)によって構成されるモデルを構築した.F-NetとS-NetはいずれもGaussian Radial Basis Function Networkと呼ばれるネットワークで構成されていて,その中間細胞の出力関数はガウス関数で表現される.本年度は上記モデルの夜間の学習手法について、以下の二つの手法を同時並行的に検討した。一つは、F-Netのパラメータから疑似学習パターンを生成して、S-Netに対して従来手法を用いてゆっくりと細胞の生成と淘汰とを同時並行的に行わせながら学習させる方法。もう一つは、F-Netの細胞群の中で似通った性質を持つ細胞同士を併合する方法である。前者は、疑似パターンをできるだけ実際に学習したパターンに近くなるように工夫できれば、少ない計算量で目的が達成できる。しかし、疑似パターンが実際とはかなり異なるパターンになってしまう場合が有ることが問題である。一方、後者は疑似パターンの生成が全く必要が無いと言うメリットが有るものの、多次元入力パターンを扱う場合には計算量が爆発的に増えてしまうと言う問題が有る。そこで、これら二つの手法を同時並行的に改良を進めた。その結果、前者の方は多次元パターンのべンチマークテストに耐え得るシステムに仕上った。一方、後者のモデルでは、2次元入力パターンに対してまでではあるが、併合する細胞の候補を発見する手続きを効率化してある程度の高速化が図れた。

基于模型的学习机（例如神经电路）可以用比记忆所有情况的学习机（例如查表方法）更少的参数来实现，因此它们的特点是即使在小型计算机上也能实现高级功能。然而，传统的神经回路学习方法存在一个问题，即在进行额外学习时会忘记一些记忆。如果学习一个参数来匹配另一个示例，则先前提供的示例的记忆将被破坏。为了防止这种情况，神经电路必须配备冗余参数（中间单元），可以通过增加字符数量在一定程度上防止这种情况。，但这与查表法没有什么区别，失去了使用神经电路的优势。网络，Fast-Learning-Network（F-Net），白天以类似于查表方法的方式暂时高速学习新的例子，晚上将F-Net的学习结果压缩为更少的参数。我们构建了一个由记忆信息的慢学习网络（S-Net）组成的模型。F-Net 和 S-Net 都是高斯径向基函数。它由一个称为网络的网络组成，其中间单元的输出函数用高斯函数表示。今年，我们同时研究了以下两种方法用于上述模型的夜间学习。一种方法是从 F-Net 参数生成伪学习模式，并让 S-Net 学习，同时使用传统方法缓慢生成和选择单元。另一种方法是合并 F-Net 单元组内具有相似属性的单元。在前一种情况下，如果可以将伪模式设计得尽可能接近实际学习的模式，则可以通过少量的计算来达到目的。然而，问题是伪模式可能与实际模式有很大不同。另一方面，虽然后者具有根本不需要生成伪模式的优点，但它存在处理多维输入模式时计算量爆炸性增加的问题。因此，我们同时改进了这两种方法。结果，前者能够承受多维模式的基准测试。另一方面，在后一个模型中，尽管对于二维输入模式，寻找合并单元格候选的过程在一定程度上变得更加高效和快速。