基于新型存储的大数据存取优化技术研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61672479
项目类别：
面上项目
资助金额：
63.0万
负责人：
金培权
依托单位：
中国科学技术大学
学科分类：
F0202.系统软件、数据库与工业软件
结题年份：
2020
批准年份：
2016
项目状态：
已结题
起止时间：
2017-01-01 至2020-12-31

项目参与者：
岳丽华；陈香兰；杨程程；郝行军；吴章玲；王文强；张德志；尹邦杰；
关键词：
索引/访问方法新硬件上的数据库系统架构新型存储存储管理

项目摘要

How to efficiently store big data and support real-time big data processing and analysis has been the most critical issue in the development of big data technologies. As existing technologies including relational databases, Hadoop, and in-memory databases fail to solve this problem, we present in this proposal a new idea that aims at proposing a novel type of storage architecture to realize efficient big data storage and management. Particularly, based on the challenges of efficient storage and real-time processing in big data storage and management, we will focus on storage class memories, represented by phase change memory (PCM), and study new-storage-based big data storage architecture, distributed memory file systems, and big data storage management. Specially, we will investigate some key issues such as PCM-based new storage architecture, random access technologies on distributed hybrid memories, and heterogeneous cache management for new storage architecture. Consequently, we will construct a prototype system for big data access optimization and conduct performance evaluation with real applications. This project is expected to provide fundamental theories and technologies for new-storage-based big data storage and management and advance the development of big data researches.

如何高效地存储大数据并支持实时大数据处理与分析是大数据技术发展所面临的首要问题。由于现有的关系数据库技术、Hadoop技术、内存数据库技术等都不能很好地解决这一问题，因此本项目提出了在新型存储架构上进行创新和突破进而实现高效大数据存储和管理的思路。具体而言，本项目将以相变存储器（PCM）为代表的存储级主存（SCM）技术为切入点，针对大数据存储与管理中的高效存储、实时处理等方面存在的挑战，研究基于新型存储的大数据存储架构、基于新型存储的分布式内存文件系统、基于新型存储的大数据存储管理机制等核心问题，重点突破基于PCM的新型存储架构、分布式混合内存的随机访问技术、基于新型存储架构的异质缓存管理等关键技术，最终构建基于新型存储的大数据存取优化原型系统，并结合实际应用需求开展验证工作，从而为新型存储架构下的大数据存储与管理提供基础理论和技术支撑，同时促进大数据研究的进一步发展。

结项摘要

如何高效地存储大数据并支持实时大数据处理与分析是大数据技术发展所面临的首要问题。由于现有的关系数据库技术、Hadoop技术、内存数据库技术等都不能很好地解决这一问题，因此本项目提出了在新型存储架构上进行创新和突破进而实现高效大数据存储和管理的思路。本项目针对大数据存储与管理中的高效存储、实时处理等方面存在的挑战，提出了基于新型存储的大数据存储架构，设计了基于新型存储的分布式内存文件系统，并针对基于新型存储的索引、存储管理、查询优化等问题开展了深入研究，提出了一系列创新的设计，并最终构建了异构混合内存模拟系统、大数据存取性能验证系统、基于NVM的键值数据库系统等原型系统进行了实验验证，从而为新型存储架构下的大数据存储与管理提供基础理论和技术支撑。