確率的生成モデルにおけるノンパラメトリックベイズ学習と自然言語処理への応用

随机生成模型中的非参数贝叶斯学习及其在自然语言处理中的应用

基本信息

批准号：
08J07036
负责人：
佐藤一誠
金额：
$ 1.15万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2008
资助国家：
日本
起止时间：
2008 至 2011
项目状态：
已结题

项目摘要

本年度は主に3つの成果を上げることができた.これらの成果は,論文誌(1),国際会議(2)において発表を行った.1.離散的な隠れ状態をもつ文書の確率的生成モデルにおいて、単語の出現分布がPower-lawの性質をもつモデルを提案した提案モデルは、Power-lawの性質が内在するデータにおいては,既存モデルであるLatent Dirichlet Allocation (LDa)よりも未知のデータに対する予測性能が大幅に高いことが実験的に示すことができた.2.LDAにおける高速な決定論的逐次学習手法を提案した.本手法は,決定論的なオンライン学習アルゴリズムで,1度処理したデータは捨ててしまうので過去のデータを保持する必要がない.また,収束も早く,並列実行する必要もない手法である.3.Succinct Data structureを利用した圧縮半構造データマイニングアルゴリズムを提案した.XMLを中心として近年,木構造型の半構造データが大量に増加している.このようなデータに対してFREQTと呼ばれる高速に頻出するパターンを抽出するアルゴリズムが提案されている.本研究では,木構造データを情報論的下限まで圧縮した状態で,FREQTアルゴリズムを適用することが可能なアルゴリズムを提案した.

今年，我们取得了三个主要成果，这些成果在期刊（1）和国际会议（2）上发表。 1. 具有离散隐藏状态的文档的随机生成在模型中，词出现分布具有幂律。属性。所提出的模型不同于具有幂律属性的数据中的现有模型潜在狄利克雷分配。我们能够通过实验证明，对于未知数据的预测性能明显高于（LDa）2。我们提出了一种快速确定性顺序学习方法，通过在线学习算法，已经处理过的数据被丢弃，因此不需要保留过去的数据。它收敛速度也很快，不需要并行执行。3．我们提出了一种利用结构的压缩半结构化数据挖掘算法。近年来，大量的树结构半结构化数据（主要是XML）不断增加。对于此类数据，一种称为FREQT的模式高速频繁出现。提出了一种提取FREQT算法的算法。在本研究中，我们提出了一种可以将FREQT算法应用于压缩到信息论下限的树结构数据的算法。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Knowledge Discovery of Semantic Relationships between Words Using Nonparametric Bayesian Graph Model

利用非参数贝叶斯图模型进行词间语义关系的知识发现

DOI：
发表时间：
2008
期刊：
影响因子：
0
作者：
Nakano;T.;Marshall;B. A.;Kennedy;M.;Spencer;H. G.;佐藤一誠
通讯作者：
佐藤一誠

Topic models with power-law using Pitman-Yor process

DOI：
10.1145/1835804.1835890
发表时间：
2010-07
期刊：
Proceedings of the 16th ACM SIGKDD international conference on Knowledge discovery and data mining
影响因子：
0
作者：
Issei Sato;Hiroshi Nakagawa
通讯作者：
Issei Sato;Hiroshi Nakagawa

Succinct Semi-structured Data Mining Based on FREQT

基于FREQT的简洁半结构化数据挖掘