速い学習と遅い学習を組み合わせた高速適応能力を損なわない素子数削減法

一种在不牺牲高速适应能力的情况下结合快速学习和慢速学习的减少元素数量的方法

基本信息

批准号：
11780264
负责人：
山内康一郎
金额：
$ 1.02万
依托单位：
Hokkaido University (2000)Nagoya Institute of Technology (1999)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1999
资助国家：
日本
起止时间：
1999 至 2000
项目状态：
已结题

项目摘要

神経回路などのモデルベースの学習機械は,テーブルルックアップ手法等のように全事例記憶型の学習機械に比べて少ないパラメータ数で実現できるため,小規模な計算機でも高度な能力を実現できるという特徴を持つ.しかし,神経回路の従来の学習方法では,追加的な学習を行わせると,一部の記憶を忘却すると言う問題がある.これは少ないパラメータに多くの事例を集約させて記憶させるためであり,一つのパラメータを別の事例に合わせるように学習させると,過去に提示した事例の記憶を破壊するのである.これを防ぐには,神経回路に冗長なパラメータ(中間細胞)を増やせばある程度防ぐことが可能だが,これではテーブルルックアップ手法と変わり無く,神経回路を使うメリットが無くなってしまう.そこで昨年度は、認識を専門に行うMain Networkと,昼間に暫定的にテーブルルックアップ手法と似た形で新規事例を高速に学習するFast-Learning-Network(F-Net),夜の間にF-Netの学習結果を少ないパラメータに圧縮し記憶するSlow-Learning-Network(S-Net)によって構成されるモデルを構築した.F-NetとS-NetはいずれもGaussian Radial Basis Function Networkと呼ばれるネットワークで構成されていて,その中間細胞の出力関数はガウス関数で表現される.本年度は上記モデルの夜間の学習手法について、以下の二つの手法を同時並行的に検討した。一つは、F-Netのパラメータから疑似学習パターンを生成して、S-Netに対して従来手法を用いてゆっくりと細胞の生成と淘汰とを同時並行的に行わせながら学習させる方法。もう一つは、F-Netの細胞群の中で似通った性質を持つ細胞同士を併合する方法である。前者は、疑似パターンをできるだけ実際に学習したパターンに近くなるように工夫できれば、少ない計算量で目的が達成できる。しかし、疑似パターンが実際とはかなり異なるパターンになってしまう場合が有ることが問題である。一方、後者は疑似パターンの生成が全く必要が無いと言うメリットが有るものの、多次元入力パターンを扱う場合には計算量が爆発的に増えてしまうと言う問題が有る。そこで、これら二つの手法を同時並行的に改良を進めた。その結果、前者の方は多次元パターンのべンチマークテストに耐え得るシステムに仕上った。一方、後者のモデルでは、2次元入力パターンに対してまでではあるが、併合する細胞の候補を発見する手続きを効率化してある程度の高速化が図れた。

基于模型的学习机（例如神经回路）可以用比所有病例记忆学习机（例如表查找方法）更少的参数实现，因此即使是小型计算机也可以实现高级功能。但是，神经回路的传统学习方法存在一个问题，即执行其他学习时会忘记一些记忆。这是因为许多情况是收集和存储在更少的参数中，并且如果训练一个参数以适合另一种情况，则将破坏过去情况的记忆。为了防止这种情况，可以防止神经回路中的冗余参数（中间单元）的数量，但这与表查找方法没有什么不同，并且消除了使用神经回路的优势。去年，我们专注于Main，专门研究认可。我们已经构建了一个由网络，快速学习网络（F-NET）组成的模型，该模型暂时以与白天相似的方式以类似的方式以类似的方式学习新案例，以及慢慢学习网络（S-NET），将F-Net学习结果压缩并存储在夜晚中的较少参数。 F-NET和S-NET均由称为高斯径向基函数网络的网络组成，中间细胞的输出函数由高斯函数表达。今年，我们同时检查了上述模型的夜间学习方法。一种是一种从F-NET参数生成伪学习模式的方法，并允许S-NET使用常规方法同时慢慢生成并选择单元格。另一种方法涉及将F-NET细胞种群中具有相似特性的细胞组合。在前者中，如果可以将伪模式设计为尽可能接近实际学到的模式，则可以通过少量计算来实现目标。但是，问题在于伪模式可能与实际模式大不相同。另一方面，尽管后者的优点是根本不需要生成伪模式，但存在一个问题：处理多维输入模式时，计算的量会大大增加。因此，我们同时改进了这两种方法。结果，前者是一个可以承受多维模式基准测试的系统。另一方面，后一个模型能够提高发现合并单元格的候选程序的效率，尽管它甚至适用于二维输入模式，并且在一定程度上是速度。