学習におけるスパース表現とコネクション重みに関する研究

学习中的稀疏表示和连接权值研究

• 批准号: 06260207
• 负责人: 松山 泰男
• 金额: $ 0.64万
• 依托单位: Ibaraki University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 1994
• 资助国家: 日本
• 起止时间: 1994 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-06260207/
• 关键词: 教師あり学習; コネクション重み; ペナルティ; ダイバージェンス; 教師なし学習; ベクトル量子化; 局所最適性; 構造化

本研究は,重みベクトルを用いたコーディングの性質と利点とは何かを探ることを目的としている.このとき,多層ネットワークのように連続値となる符号化を考察の対象としている.従って,この場合のコーディングとは何か,コネクション重みを考慮したときの相対的な集中・スパース・分散性とはどのようなものかといったことについて明確な理解と適用法とを得ることが重要な項目となっている.上のような目的に従って得られた成果は次の通りである.1.教師なし学習と教師あり学習のそれぞれについて,重みベクトルの配置を決める問題を,D=F+Σ_iλ_iG_iを最小化する多目的最適化問題として統一して扱えるようにした.2.データ近似を行う競合学習については,対数バイアスとそれに基づく突然変異操作が,劣悪な局所最適を避けるよい手段であることを発見した.3.重みベクトルをさらにグループ化してスーパーベクトルとみなすと,最適化特徴マップが得られ,これを外部知性の指定に基づいて変形すると,静止画像から動画像の生成ができることが分かった.4.多層ネットワークの重み分布を集中・スパース・分散のそれぞれの形にするペナルティ項としてα-ダイバージェンスが適切であることを,論理値と時系列を入力する場合を例にとって実証した.

本研究的目的是探索使用权向量进行编码的性质和优点。此时考虑的主题是连续值编码例如多层网络的情况编码是什么，以及相对集中性、稀疏性和稀疏性。考虑连接权重时的分散性？清楚地理解它是什么以及如何应用它很重要。按照上述目标得到的结果如下： 1.无监督学习和监督学习，减少了确定权重向量放置的问题到我们使得将其作为一个统一的目标优化问题来处理成为可能。2.对于执行数据近似的竞争学习，我们发现基于它的对数偏差和变异操作是避免不良局部最优的好方法。3。将权重向量分组并将它们视为超向量，我们可以获得优化的特征图。我们发现，通过根据外部智能的规范对其进行转换，可以从静止图像生成运动图像。我们通过使用输入逻辑值和时间序列的示例证明了散度是适当的。 。

项目成果

Y.Matsuyama and M.Tan: "Digital Movies Using Optimized Feature Maps" Proc.Int.Conf.on Neural Networks. VI. 4000-4005 (1994)

Y.Matsuyama 和 M.Tan：“使用优化特征图的数字电影”Proc.Int.Conf.on 神经网络。

松山,笹井: "最適化特徴マップと強制情報を結合したディジタル動画像の生成" 記号とパターンの統合処理ワークショップ論文集. 1. 83-88 (1994)

Matsuyama、Sasai：“通过结合优化的特征图和强制信息生成数字视频图像”符号和图案集成处理研讨会论文集 1. 83-88 (1994)。

Y.Matsuyama,et al.: "Learning Optimization of Composite Cost" Proc.Int.Conf.on Neural Info.Processing. 3. 1431-1436 (1994)

Y.Matsuyama 等人：“复合成本的学习优化”Proc.Int.Conf.on Neural Info.Processing。