データグリッドによる異分野科学データベース統合技術の開発

利用数据网格开发跨学科科学数据库集成技术

基本信息

批准号：
19024050
负责人：
松田秀雄
金额：
$ 3.97万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
2007
资助国家：
日本
起止时间：
2007 至 2008
项目状态：
已结题

项目摘要

本研究では、広域に散在し、大容量化かつ多様化する科学データに対するスケーラブルな情報統合とそれにより得られる異分野科学データベースの横断的検索を、データグリッド技術を基盤としたワークフローによる動的な統合として実現した。ワークフローに基づく動的なデータベース統合の評価では、データベースの検索を行うサーバ間を接続するためのデータ転送サービスを考案し、この機能を含めたデータベース統合システムを開発した。複数のデータベースをつないで順次統合するワークフローの処理で、従来法では前段のサーバの出力をクライアントに返す必要があったが、提案する方式ではデータ転送サービスを経由して後段のサーバに直接転送することで通信の効率を上げる。これにより、100HBのデータ転送時間が従来法だと277.3秒かかっていたものが、提案法では3.2秒で短縮できた。スケーラブルなデータベース統合基盤の実現では、データ転送サービスマネージャを導入することで、データ転送サービスの転送の中継・集約を可能とするとともに、中間データ量を絞込みを行えるようにした。従来のワークフローエンジンでは、データベースサーバへの問合せ結果がすべてエンジンに返ってきてしまいメモリオーバフローが発生した。これに対して、データ転送マネージャの導入により、問合せ結果の統合はデータ転送サービスとそのマネージャの問で行われ、エンジンは統合結果だけを受け取るだけとなり、従来のワークフローエンジンでは処理が困難であった700ゲノムの比較ゲノム解析を実行することに成功した。

在这项研究中，可扩展的信息集成，用于大容量和散布在广泛区域的科学数据的多元化，以及对跨学科科学数据库的横截面搜索是使用基于数据网格技术的工作流程的动态整合。在基于工作流的动态数据库集成的评估中，我们设计了一个数据传输服务，用于连接搜索数据库的服务器，并开发了包含此功能的数据库集成系统。在常规方法中，这是一个工作流程过程，其中连接多个数据库并顺序集成，虽然必须将上一个服务器的输出返回到客户端，但建议的方法是通过数据传输服务直接从后来的服务器传输输出，从而提高通信效率。这导致了100小时的数据传输时间，在常规方法下花费了277.3秒，但在提出的方法下，它减少到3.2秒。在实现可扩展的数据库集成平台时，已经引入了数据传输服务管理器来启用数据传输服务的中继和聚合，并且还允许缩小中间数据的量。在传统的工作流引擎中，数据库服务器的所有查询都返回到引擎，从而导致内存溢出。相比之下，随着数据传输经理的引入，查询结果的集成是由数据传输服务及其经理的问题进行的，并且发动机仅收到了集成的结果，并且能够对700个基因组进行比较基因组分析，这很难使用传统的工作流引擎进行处理。