学習理論における特異性とその代数幾何学的性質およびその応用

学习理论中的奇异性、代数几何性质及其应用

• 批准号: 16700218
• 负责人: 青柳 美輝
• 金额: $ 1.73万
• 依托单位: Tokyo Institute of Technology (2006)Sophia University (2004-2005)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16700218/
• 关键词: 確率的複雑さ; 特異モデル; 特異点解消; ゼータ関数; 階層モデル; ベイズ推定; 特異的モデル; 学習モデルのゼータ関数; 確率的複雑さ; 特異モデル; 特異点解消; ゼータ関数; 階層モデル; ベイズ推定; 特異的モデル; 学習モデルのゼータ関数

学習システムの目的は,たとえば,画像認識,音声認識,遺伝子解析,データマイニンである.このような学習データは,正規分布に従っているような単純なものではなく,非常に複雑な構造をもっている.したがって,このような目的のために用いられる学習モデルは十分複雑なものを考えなくてはならない.現在,そのようなデータを扱える学習モデルとして,階層構造,内部構造を持つものが応用されている.これらのモデルは,パラメータを変えることできわめて多くの確率分布となりえることが証明されている.このようなモデルを特異モデルという.渡邊澄夫教授は,特異モデルに関して,ベイズ推測において重要な役割を果たす確率的複雑さが,特異点解消により構成された方法論と数理的に緊密な関係を持つことを明らかにした.しかし,実はこのような数理の確立にもかかわらず,計算を行うことは非常に困難であった.特異点解消自身の困難性や,特異点の非孤立性,ニュートン図形の退化などが理由である.今年度は,これらの困難性を個別のモデルに対して工夫を行いながら克服し,昨年度よりさらに一般化した3層ニューラルネットワークの場合について,確率的複雑さの厳密な漸近展開を与えた.さらにその方法を混合正規分布にも応用した.方法の概略は昨年度と同様recursive blowing-up及びトーリック多様体による特異点を帰納的に解消する方法である.この方法で上限のみしか得られていなかった学習モデルのゼータ関数の最大の極およびその位数の値を与え,汎化誤差の漸近展開を明らかにした.今後は,スピンモデルについても考察していきたい。

学习系统的目的是，例如图像识别，语音识别，遗传分析和数据蛋白。这样的培训数据并不简单，而是具有非常复杂的结构。因此，必须将用于此目的的学习模型视为足够复杂。当前，可以处理此类数据的培训模型是具有分层结构和内部结构的培训模型。这些模型已经证明，它们可以通过更改参数具有大量的概率分布。这样的模型称为单数模型。渡边苏梅奥教授表示，关于奇异模型，贝叶斯已经揭示了在推论中起重要作用的概率复杂性与与奇异性分辨率构建的方法论有着密切的数学关系。但是，尽管建立了这种数学理论，但进行计算非常困难。原因是奇异性解决本身的困难，奇异性的不隔离以及牛顿人物的变性。今年，通过对各个模型的创造力克服了这些困难，在三层神经网络的情况下，这比去年更具概括性，给出了严格的随机复杂性渐近扩张。此外，该方法还应用于混合正态分布。该方法的轮廓是递归的，就像去年一样。这是一种由于爆炸和曲折的歧管而导致的象征性奇异性的一种方法。该方法给出了学习模型的ZETA函数的最大极及其订单值，该模型仅获得了上限，并揭示了概括误差的渐近扩展。将来，我们还将考虑旋转模型。