顾及空间邻近性的并行空间数据库动态均衡分布方法

结题报告

项目介绍

AI项目解读

基本信息

批准号：
41101354
项目类别：
青年科学基金项目
资助金额：
23.0万
负责人：
周艳
依托单位：
电子科技大学
学科分类：
D0114.地理信息学
结题年份：
2014
批准年份：
2011
项目状态：
已结题
起止时间：
2012-01-01 至2014-12-31

项目参与者：
黄方；蒋玲；陈云坪；吴宏伊；狄颖辰；程晖；
关键词：
空间数据分布空间邻近性高性能计算数据偏斜并行空间数据库

项目摘要

并行空间数据库以其高性能、高可用性和高可扩展性等特点，已成为高性能地学计算新型环境下大规模GIS空间数据高效管理的核心技术。由于空间数据分布不均匀、空间对象结构复杂、对象之间包含着复杂的空间关系，导致GIS空间数据并行管理的效率不高，这已成为并行空间数据库面对GIS数据密集型高性能应用的瓶颈问题。本申请针对并行空间数据库的空间数据均衡分布难题，综合考虑空间数据的非结构化变长、非均匀分布和复杂的空间关系等特点，系统研究空间数据量、空间对象分布、空间邻近关系和空间数据动态更新等影响空间数据分布平衡的关键因素，提出顾及空间邻近性的空间数据均衡分布和基于最小空间邻近度的空间数据动态偏斜纠正方法，为并行空间数据库的数据动态均衡分布提供一种新的有效途径，为地球空间信息网格计算和高性能地学协同等提供重要支撑。

结项摘要

并行空间数据库是高性能空间数据库发展的必然趋势，如果空间数据在并行节点之间分布失衡，就会导致系统负载不平衡，影响空间数据库并行性能发挥。因此空间数据均衡分布是提高并行空间数据库性能的核心关键技术之一。本项目针对并行空间数据库的空间数据均衡分布难题，重点研究适合空间数据特点的并行空间数据库动态均衡分布方法。项目主要研究内容包括：（1）顾及空间邻近性的并行空间数据库的数据均衡分布理论与方法。（2）并行空间数据库的数据动态偏斜纠正理论与方法。（3）空间数据动态分布的原型系统和实验分析。项目取得的主要成果包括：.（1）建立了基于空间填充曲线层次分解的由粗到精的空间数据均衡划分方法，提出了顾及空间邻近性的数据分布策略。主要思想：基于空间对象之间的Hilbert编码的邻近性进行数据划分，通过初始划分格网的层次分解实现空间数据划分均衡，避免过密/过疏划分造成的系统资源浪费和数据量失衡。对空间数据划分得到的逻辑数据子集基于Hilbert排列码分组，使每组内的逻辑数据子集间的邻近性尽可能小，对逻辑数据子集进行物理聚簇，以提高物理存取效率，然后把物理聚簇的数据子集按逻辑分组采用轮盘法分配到不同的并行节点上，从而确保系统的整体并行度，实现顾及空间邻近性的数据均衡分布。.（2）建立了基于空间对象最小外接矩形的空间邻近性度量模型，提出了基于最小空间邻近度的空间数据偏斜纠正方法。主要思想：尽量将空间范围邻近的子集合分布在不同的处理机节点上，使重分布的空间子集合应该与处理机节点上已分布的空间子集合之间具有尽可能小的空间邻近性。当数据偏斜度超过系统阈值时，通过计算候选子集合与目标处理机节点上已经分布的子集合之间的空间邻近度，从中选择空间邻近度最小的候选子集合迁移到目标处理机节点，以减少动态分布调整操作对系统并行性的影响。.（3）设计实现了空间数据动态分布的原型系统，基于该系统开展了空间数据均衡分布和动态偏斜纠正实验与分析，取得了较满意的实验结果，获得软件著作权一项。.本项目综合考虑空间数据的非结构化变长、非均匀分布和空间关系复杂等特点，空间数据量、空间对象分布、空间邻近关系等影响空间数据分布平衡的关键因素，提出了适合并行空间数据库动态更新特点的动态数据均衡分布方法，为并行环境下的空间数据分布平衡提供了一种新的有效途径，为大规模GIS空间数据高性能应用领域提供并行空间数据库存储管理技术的重要支撑。