全文検索をベースとした個人用分散ファイルシステムの研究

基于全文检索的个人分布式文件系统研究

• 批准号: 15700027
• 负责人: 安田 絹子
• 金额: $ 0.96万
• 依托单位: The University of Electro-Communications
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-15700027/
• 关键词: 検索システム; ファイルシステム; バッファ管理; データベース; インデックス生成; 分散ストレージ

本年度の研究実績として、大きく分けて以下の3つの成果が挙げられる。第一に、全文検索をベースとした分散ファイルシステム実現の第一ステップとして、複数ファイルシステム上のデータを一括して検索・管理するための分散検索システムを構築した。本システムは、ユーザ空間で動作するサーバ・クライアント構成の分散システムである。本システムでは、ファイルサーバなどのストレージを有するマシンがクライアントとなり、検索システムが動作している中央サーバに対して定期的にストレージ上のデータとその更新情報を送信する。クライアントからのデータを受信したサーバは、そのデータをサーバ上で動作する検索エンジンにかけ、検索インデックスを構築する。第二に、ファイルシステム上で動作するアプリケーションの性能を妨げずにメタデータ処理などの管理処理を行うためのバッファ管理機構の研究を行った。本研究で掲げた検索システムに関わらず、ある程度高度なデータ管理を行おうとすると、ファイル操作以外の管理処理(インデックス生成や不使用領域の回収など)が必要となる。しかし、こうした処理を通常処理と並行して単純に動作させてしまうと、通常処理の性能を低下させる原因となってしまう。そこで、あるタイプのプロセスにおいて「控え目な」バッファ管理を行わせることで、通常処理プロセスへの影響を少なくするような手法の探求を行った。第三に、検索とファィルシステムの融合の試みの一つとして、SQLデータベースとファイルシステムを結合したSQLファイルシステムを試作した。本システムは、SQLエンジン(SQLパーサ、B木管理機構、SQL仮想マシン)をカーネルモジュールとしてOS内に埋め込み、そのインターフェースとして仮想デバイスやファイルシステムを結合したものである。こうした試みの有用性は未知であるが、例えばSQLエンジンをコアとするデータ指向ユビキタスノードの第一ステップとして位置づけることも可能であると考えている。

今年的研究成果大致可分为以下三类。首先，作为实现基于全文搜索的分布式文件系统的第一步，我们构建了一个分布式搜索系统来集中搜索和管理多个文件系统上的数据。该系统是一个分布式系统，具有在用户空间中运行的服务器/客户端配置。在该系统中，具有存储的机器（例如文件服务器）成为客户端，并定期将存储上的数据及其更新信息发送到运行搜索系统的中央服务器。从客户端接收数据的服务器将该数据应用到在服务器上运行的搜索引擎以构建搜索索引。其次，我们研究了一种缓冲区管理机制，以在不干扰文件系统上运行的应用程序性能的情况下执行元数据处理等管理处理。无论本研究提出的搜索系统如何，为了实现一定程度的高级数据管理，都需要文件操作以外的管理过程（例如索引生成和未使用区域的收集）。然而，如果这种处理简单地与正常处理并行操作，则正常处理的性能将会恶化。因此，我们寻找一种方法，通过让某些类型的进程执行“适度”的缓冲区管理来减少对正常处理的影响。第三，作为集成搜索和文件系统的尝试，我们创建了一个结合了 SQL 数据库和文件系统的原型 SQL 文件系统。该系统将SQL引擎（SQL解析器、B树管理机制、SQL虚拟机）作为内核模块嵌入到操作系统中，并作为其接口连接虚拟设备和文件系统。尽管这种尝试的实用性尚不清楚，但我们相信可以将其定位为创建以 SQL 引擎为核心的面向数据的普适节点的第一步。