超大規模データからの高速データマイニング・システムの研究

超大规模数据高速数据挖掘系统研究

基本信息

批准号：
09230215
负责人：
有村博紀
金额：
$ 1.22万
依托单位：
Kyushu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1997
资助国家：
日本
起止时间：
1997 至无数据
项目状态：
已结题

项目摘要

データマイニング(Data Mining)は,データベースからの知識発見とも呼ばれ,現在,ビジネス分野や科学技術分野等,さまざまな対象領域で,その適用が盛んにおこなわれている.しかし,現在のデータマイニングの対象は関係データベースが中心であり,現在急速に利用が進みつつあるテキストデータベースやオブジェクト指向データベースに関しては,明示的な構造をもたない,あるいは非均質な構造しかもたない,膨大なデータの集積であるなどの理由から,従来の手法をそのまま適用することができないため,ほとんど研究がおこなわれていない.そこで本研究では,ここにあげたような非構造的データや構造データからのデータマイニングについて研究した.平成9年度は,具体的にはつぎの問題に中心に研究した.1.高速パターン発見アルゴリズムの研究:近年発展著しいテキストデータベースを対象に,高速なパターン発見アルゴリズムを開発した.とくに,単純なパタンに仮説を制限する代わりに,誤差や欠落を含む不完全データにたいしても働くような,頑健かつ高速な手法を開発することができた.また,確率的サンプリングを用いた高速化や効率的な探索の枝刈り法についても成果を得た.2.属性効率のよいパタン発見アルゴリズム:テキストデータベースにおいては,属性に対応する部分列や語彙の数は膨大になる.本項では,1変数パタンと呼ばれる単純な規則を対象に,発見に必要な具体例が,発見対象に関連しない属性数にはほとんど依存しないような,「属性効率がよい」パタン発見アルゴリズムを開発し,この族が多項式オンライン学習可能であることを示した.3.構造化データからの対話を用いた知識獲得:本項では,構造化データからの対話的な知識獲得について基礎的な研究をおこなった.関係データベースではさまざまな演繹質問や統合性制約が一階ホーン論理式として表される.主結果として,一階ホーン論理式の部分族ACH(k)に対する多項式時間学習アルゴリズムを与え,さらに,これが質問計算量に関してほぼ最適であることを示した.他にも,テキストデータベース用の質問言語の計算量と表現力を調べ,完全に特徴づけた.また,本年度に1項のテキストデータマイニング・システムの小規模プロトタイプを試験的に実装し,問題点の洗い出しをした.次年度は,これに基づいて効果的な実装法を研究し,分子生物学のデータを対象として大規模な知識獲得実験をおこないたい.

数据挖掘）也被称为从数据库中发现的知识发现，目前正在积极应用在各种领域，例如商业，科学和技术领域。但是，当前数据挖掘的目标主要是相关的数据库，并且文本数据库和面向对象的数据库目前无法迅速使用，并且仅仅是不直接使用的，因为它们仅能直接应用它们，因为它们仅能直接应用它们，或者因为它们的结构不合时宜，或者是因为它们的结构构建，或者是因为它们的结构不合时宜，或者是因为它们的结构，或者是因为它们的结构不存在，或者因为它们的结构而言，或者是因为它们的结构而言，或者是因为它们的结构而言，或很少研究数据量。因此，在这项研究中，我们从非结构化和结构数据中研究了数据挖掘，如下所述。 1997年，我们专注于以下问题1。高速模式发现算法的研究：我们为近年来一直在迅速发展的文本数据库开发了一种高速模式发现算法。特别是，我们没有将假设限制为简单模式，而是能够开发出一种可靠的快速方法，可用于不完整的数据，包括错误和丢失数据。我们还使用随机抽样和有效的修剪方法进行搜索2。属性效率良好的模式发现算法：在文本数据库中，与属性相对应的子序列和词汇的数量是巨大的。在本节中，我们开发了一种“属性有效”模式发现算法，其中一个简单的规则称为单变量模式，其中发现所需的特定示例几乎不取决于与发现无关的属性的数量，并表明该家族可以是多项式在线学习。3。使用从结构化数据对话的知识获取：在本节中，我们从结构化数据中进行了有关互动知识获取的基础研究。在关系数据库中，可以使用各种演绎问题和集成。性别约束表示为一阶喇叭逻辑方程。主要的结果是用于一阶喇叭逻辑方程的亚家族ACH（k）的多项式学习算法，这表明这对于询问的复杂性几乎是最佳的。此外，我们研究并充分表征了文本数据库的询问语言的复杂性和表现力。此外，我们在今年通过实验实施了单期文本数据挖掘系统的小规模原型，以识别问题。明年，我们将基于此研究有效的实施方法，并对分子生物学数据进行大规模的知识获取实验。