追加学習を行なう神経回路モデルによる事例ベース推論システムの構築

使用执行额外学习的神经回路模型构建基于示例的推理系统

基本信息

批准号：
09780327
负责人：
山内康一郎
金额：
$ 1.41万
依托单位：
Nagoya Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1997
资助国家：
日本
起止时间：
1997 至 1998
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-09780327/
关键词：
Case Based Reasoning Neural Network Incremental Learning Generalized Radial Basis Function Resource Allocating Network Quick Adaptation Pruning Redundant Cells 情報集約

项目摘要

近年,過去の事例を基に新しい問題を解く事例ベース推論が注目されている.この推論システムの核となる事例データベースを神経回路に置き換えることができれば,人力層に問題を提示して少数の細胞の活性値を計算するだけで,出力層に問題に適応した解が得られるため,推論効率が高まるものと期待できる.昨年までの研究では,事例データベースとしての神経回路が新しい事例を追加的に学習できるように,効率の良い追加学習法の開発を行って来た.本年度は,まず,昨年度までの研究成果を具体的な推論システムに実装した.構築したシステムは,女性の化粧を支援するためのカラーコーディネイトシステムで,ユーザーはテーマカラーと自分の顔の肌の色をシステムのコンソールを使って入力する.すると中に組み込まれた神経回路がこのテーマカラーと肌の色を入力として目の淵,眉毛の下,および瞼に塗るアイカラー3色を出力して表示する.しかしユーザーがその3色を気に入らなかった場合にはユーザがコンソールからその3色を修正し,追加学習ボタンをクリックする.するとシステムは次回からはユーザの修正を反映した出力を出すようになる.このシステムは既に当該研究者のホームページで公開され,インターネットを通して誰でも利用できる.しかし,神経回路が新しい事例を提示される度に確実に学習するようにした場合,その都度場当たり的に細胞を割り付ける必要があり,結果として冗長な中間細胞が増えてしまう.本年度はこれを解決するため,慎重に小数の細胞を割り付けながらゆっくり学習するS-Netと,S-Netのエラーを高速に補填するように多くの細胞を割り付けて学習を行うF-Netとを組み合わせた神経回路を構築した.この神経回路では,学習を続けるにしたがってS-Netのエラーは減少し,F-Netはゼロを出力するようになっていく.するとF-Netは自分の中間細胞のうち,ゼロ出力にのみ貢献する中間細胞を不要とみなして削除する.またこの神経回路の出力はF-Net+S-Netであり,学習の初期段階から全体(F-Net+S-Net)のエラーは小さく,朱だS-Netのエラーが大きい状態であっても推論が可能である.つまり推論システムの運用を行いながら,総細胞数を徐々に少なくしていける.だがS-Netの適応速度が遅いため,次々と領域の異なる新規パターンが提示され続けると,結局F-Netの細胞が増え続ける場合がある.これを解決するには定期的に新規パターンの学習をストップする以外に無い.そのため学習期間を昼と夜に分けて,昼は推論を行いつつ従来通りの学習をし,夜は新規パターンの学習をストップしてS-Netが(F-Net+S-Net)の出力を学習し,F-Netの冗長な細胞を削除するようにした.この昼と夜の学習を交互に繰り返すことでシステムは,常に総細胞数を少なく抑えながら推論を実行できるようになる.この夜の間の学習が生物における睡眠に対応する可能性がある.

近年来，基于案例的推理，即根据过去的案例来解决新的问题，受到了人们的关注。作为该推理系统核心的案例数据库，如果能够用神经回路代替，那么就有可能呈现出将问题交给人力资源层并使用少量单元来解决它，只需计算的激活值。我们一直在开发一种高效的加性学习方法，以便神经网络作为数据库可以增量地学习新的例子。今年，我们首先将去年的研究成果应用到一个具体的推理系统中，我们构建的系统是一个颜色协调。支持女性化妆应用的系统。然后，内置的神经电路将主题颜色和肤色作为输入和输出，并显示三种眼睛颜色，如果用户不喜欢，则应用到眼睛边缘、眉毛下方和眼睑上。三种颜色，用户可以从控制台修改这三种颜色，然后单击“了解更多”按钮。然后系统将该系统已经发布在研究人员的主页上，任何人都可以通过互联网使用。但是，每次出现新的示例时，神经回路肯定会学习，在这种情况下，有必要为每个单元进行临时分配。时间，导致冗余中间单元的增加。为了解决这个问题，我们结合了 S-Net（在仔细分配少量单元的同时学习缓慢）和 F-Net（通过分配许多单元进行学习以快速补偿 S-Net 中的错误）构建了一个神经网络。在这个神经网络中，随着学习的继续，S-Net 的误差减小，F-Net 的输出为零。然后，在其自身的中间单元中，F-Net将仅对零输出做出贡献的中间单元视为不必要的并将其删除。并且，该神经电路的输出是F-Net + S-Net，并且是学习的初始阶段。整个（F-Net+S-Net）各个阶段的误差很小，即使红色S-Net的误差很大也可以进行推理。换句话说，推理系统的运行是当你这样做时，你可以逐渐减少细胞总数，但是，由于S-Net的适应速度很慢，如果不同区域的新模式相继出现，F-Net中的细胞数量可能会继续增加。解决这个问题的唯一办法就是周期性地停止学习新模式。为此，我们将学习时段分为白天和晚上，白天进行推理，同时继续照常进行。白天，我停止学习新模式，让S-Net学习（F-Net+S-Net）的输出，并删除F-Net的冗余单元，通过交替夜间学习，系统能够在保持的情况下进行推理。夜间学习的细胞总数可能与生物体的睡眠相对应。