学習理論における特異性とその代数幾何学的性質およびその応用

学习理论中的奇异性、代数几何性质及其应用

基本信息

批准号：
16700218
负责人：
青柳美輝
金额：
$ 1.73万
依托单位：
Tokyo Institute of Technology (2006)Sophia University (2004-2005)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2004
资助国家：
日本
起止时间：
2004 至 2006
项目状态：
已结题

项目摘要

学習システムの目的は,たとえば,画像認識,音声認識,遺伝子解析,データマイニンである.このような学習データは,正規分布に従っているような単純なものではなく,非常に複雑な構造をもっている.したがって,このような目的のために用いられる学習モデルは十分複雑なものを考えなくてはならない.現在,そのようなデータを扱える学習モデルとして,階層構造,内部構造を持つものが応用されている.これらのモデルは,パラメータを変えることできわめて多くの確率分布となりえることが証明されている.このようなモデルを特異モデルという.渡邊澄夫教授は,特異モデルに関して,ベイズ推測において重要な役割を果たす確率的複雑さが,特異点解消により構成された方法論と数理的に緊密な関係を持つことを明らかにした.しかし,実はこのような数理の確立にもかかわらず,計算を行うことは非常に困難であった.特異点解消自身の困難性や,特異点の非孤立性,ニュートン図形の退化などが理由である.今年度は,これらの困難性を個別のモデルに対して工夫を行いながら克服し,昨年度よりさらに一般化した3層ニューラルネットワークの場合について,確率的複雑さの厳密な漸近展開を与えた.さらにその方法を混合正規分布にも応用した.方法の概略は昨年度と同様recursive blowing-up及びトーリック多様体による特異点を帰納的に解消する方法である.この方法で上限のみしか得られていなかった学習モデルのゼータ関数の最大の極およびその位数の値を与え,汎化誤差の漸近展開を明らかにした.今後は,スピンモデルについても考察していきたい。

学习系统的目的例如是图像识别、语音识别、遗传分析和数据挖掘。此类学习数据并不简单，例如遵循正态分布，而是具有非常复杂的结构，因此所使用的学习模型。为此目的必须足够复杂。目前，具有层次结构和内部结构的模型正在被用作可以处理此类数据的学习模型。已经证明，这些模型可以通过改变参数来创建大量的概率分布。这样的模型称为奇异模型。 Sumio Watanabe 描述了关于奇异模型的贝叶斯模型。结果表明，在推理中起着重要作用的概率复杂性与奇点解析构建的方法论有着密切的数学关系。然而，尽管有这样的数学建立，但由于求解困难，执行计算极其困难。奇点本身、奇点的非孤立性以及牛顿图形的简并性。今年，我们将通过对个别模型进行改进来克服这些困难，并将解决三层神经网络情况下的随机复杂性的精确渐近问题，该方法也比去年变得更加通用。到混合正态分布。这是一种归纳解决由于吹胀和复曲面流形而导致的奇点的方法。在该方法中，仅获得了上限，但是通过给出学习模型的zeta函数的最大极点及其阶值，我们已经澄清了转换误差的渐近展开。将来，我们还想考虑自旋模型。