数据仓库中行列混合存储引擎的优化模型

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61070031
项目类别：
面上项目
资助金额：
32.0万
负责人：
乐嘉锦
依托单位：
东华大学
学科分类：
F0202.系统软件、数据库与工业软件
结题年份：
2013
批准年份：
2010
项目状态：
已结题
起止时间：
2011-01-01 至2013-12-31

项目参与者：
夏小玲；杜明；丁祥武；石秀金；俞唯仁；姜朔；
关键词：
压缩存储数据仓库行列混合存储架构读写优化

项目摘要

针对现有数据仓库中单一（按行或列）存储架构不能对海量数据读与写同时优化的瓶颈问题，探索一种行列混合的存储引擎优化新方法，将模型分解为：读优化存储器 ROS、写优化存储器WOS、元组移动器TMS。为发挥混合架构"列读行写"双重优化效应,将大量、不易变的数据按列压缩存储在ROS中,而将少量、易变的数据按行非压缩存储在WOS中。本项目的难点与关键问题是:通过比较混合架构使用前后,数据元素与字段的表示、变长记录与地址的表示以及索引结构发生的变化,建立数据在混合架构中的存储模型;通过探索 TMS块迭代器中元组重组的优化过程并基于扩充关系代数理论,建立TMS物理操作符计算与优化模型,调控I/O与CPU执行代价参数，使 TMS总运行成本最小；通过运用"两阶段提交协议"和建立"分布式封锁算法代价模型"，保持ROS与WOS间的数据一致性。本项目是国产大型通用数据库与数据仓库存储部件的基础研究,有广泛的应用。

结项摘要

本课题针对行列混合的存储引擎进行研制，突破以下关键技术 (1) 深入分析数据在ROS和WOS上的动态存储过程，确定了基于二元表结构的ROS架构并提出WOS写策略。(2)对数据元素与字段的表示、变长记录与地址的表示以及索引结构发生的变换进行了研究，提出了新的记录表示方式，在此基础上提出了一种列存储数据的树型索引结构---RB+树索引结构及适用于范围查询的列存储数据桶划分方法。(3) 建立数据在ROS和WOS上的存储引擎模型，提出了优化读性能的ROS存储引擎模型以及优化写性能的WOS存储引擎。（4）建立TMS块迭代器的元组重组模型，提出了元组重组优化策略以及TMS块迭代器中间结果重用模型。（5）研究ROS中谓词的新特性，提出了新的并行连接与串行连接操作符，扩充了传统的关系代数符。对传统常用关系代数符根据列存储的特点进行扩充和改造，在此基础上构造了TMS的基本动作定义表示法。（6）在扩充关系符的基础上，建立了新关系代数的一般优化准则。对操作符进行形式化描述，重点对基于索引的操作执行进行设计与优化。建立了完善的物理操作符计算与优化模型，通过最小化I/O与CPU执行代价，使TMS运行总成本最小化。（7）设计行缓冲区中结构，支持快速的更新操作和事务管理，并保障ROS和WOS中数据的一致性。在完成了ROS与WOS存储、查询及一致性等关键技术突破的基础上，课题设计并开发实现了一个行列混合存储架构存储引擎的数据仓库原型系统。