記憶容量が乏しい組み込み計算環境上でのXML検索処理手法の研究

存储容量有限的嵌入式计算环境下XML搜索处理方法研究

基本信息

批准号：
15700089
负责人：
田島敬史
金额：
$ 1.86万
依托单位：
Kyoto University (2005)Japan Advanced Institute of Science and Technology (2003-2004)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2003
资助国家：
日本
起止时间：
2003 至 2005
项目状态：
已结题

项目摘要

今年度は、これまでに研究を行ってきた、記憶容量の乏しい環境のもとで大規模XMLデータを扱うための圧縮ツールについてさらに研究を行った。われわれがこれまでに開発した圧縮ツールでは、大規模XMLデータを圧縮して保存し、その一部のみを検索によって抜き出して使用したい場合には、データ全体をいったん解凍してから検索をするのではなく、圧縮した状態のまま検索を行い、必要な部分のみを解凍することができる。これは、データを複数のコンテナと呼ばれる単位に分割して、コンテナ毎に圧縮することで実現される。このコンテナ分割を行う際、同時に抜き出して使用されることが多いデータはできるだけ同じコンテナに入れられるようにコンテナへの分割を行えば、検索時に解凍する必要があるコンテナの個数が減り、さらに効率が改善できる。このような、データの検索時に同時にアクセスされる可能性が高いデータ同士を一箇所に集めて保存する考え方は、従来のデータベース技術におけるディスク上へのデータの配置に関して、これまでに研究されており、データのクラスタリングと呼ばれる。そこで、今年度は、われわれは、このクラスタリングの手法をわれわれの圧縮ツールにも応用し、より効率のよい圧縮ツールを開発した。この手法では、データの圧縮時に、どのような検索がどの程度の頻度で行われるかの情報を与えると、この情報に基づいて、検索時に解凍される必要のあるコンテナ数の期待値が最小になるような、データのコンテナへの分割を行う。これにより、圧縮率は平均するとわずかに悪化するものの、検索時の効率が大きく向上した。

今年，我们对迄今为止一直在研究的压缩工具进行了进一步的研究，用于在记忆力差的环境中处理大规模XML数据。在到目前为止我们开发的压缩工具中，如果您想压缩和存储大规模XML数据，并仅通过搜索来提取其中的一部分，而不是解压缩整个数据然后搜索，则可以在压缩时进行搜索并仅拉开必要的部分。这是通过将数据分为称为多个容器并将其压缩到容器中的单位来实现的。执行此容器划分时，如果经常同时提取和使用的数据可以放在同一容器中，则将在搜索过程中需要取消拉链的容器数量，从而进一步提高效率。收集和存储数据的概念可能会在搜索数据时同时访问，到目前为止，在一个地方已经研究了有关传统数据库技术中磁盘上数据的布置的研究，并称为数据群集。因此，今年，我们将此聚类技术应用于压缩工具，并开发了一种更有效的压缩工具。在此技术中，当数据被压缩时，如果提供了有关搜索的频率和频率（基于此信息）的信息，则将数据分配为容器，以便最小化搜索过程中需要取消拉链的容器数量的预期值。尽管压缩率平均稍差一些，但这显着提高了搜索过程中的效率。