支持可扩展事务处理的数据库日志机制及其实现

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61672232
项目类别：
面上项目
资助金额：
16.0万
负责人：
钱卫宁
依托单位：
华东师范大学
学科分类：
F0202.系统软件、数据库与工业软件
结题年份：
2017
批准年份：
2016
项目状态：
已结题
起止时间：
2017-01-01 至2017-12-31

项目参与者：
吴苑斌；朱涛；周欢；王冬慧；张俍；胡爽；王雷；黄建伟；孙晨；
关键词：
数据库日志事务处理数据库恢复可扩展性联机事务处理

项目摘要

The convergence of traditional domains and internet industries results in great pressure on backend transaction processing systems in the perspective of performance and scalability. Scalable data management systems are major players that may solve the problem. However, due to the requirements of consistency to database logs, existing logging mechanism cannot scale along with the system, thus become the bottleneck of the system. This project proposes to study fast logging and instant recovery theories and technologies. The research will focus on technologies of optimization of single-node logging, various log synchronization strategies, logging on non-volatile memory, etc. The technologies are to be integrated in open-source systems and evaluated by open benchmarks. The research aims at solving the bottleneck problem of logging, and supporting to build open and secure information systems. The research team has strong research background in streaming data processing, distributed data management, and database management systems with new architecture. The research plan is innovative and practical.

随着互联网向传统行业渗透，以及传统领域的互联网化，后台事务处理系统面临着前所未有的性能和可扩展性压力。可扩展数据管理系统是解决新兴互联网级应用事务处理需求问题的主要发展方向，但由于日志记录本身的特点，现有技术不足以满足系统横向扩展后对日志记录高效、快速、高通量，以及事务恢复可靠、可用、即时的要求。项目针对具有高性能、高通量、高可靠、高可用、高一致性的事务处理需求，基于可扩展DBMS架构，系统研究高速日志记录和即时恢复的理论和方法；重点研究单节点日志记录优化、多节点日志同步策略、新型非易失内存的利用等关键技术；形成开源系统原型，通过基准评测，验证研究成果的效果；解决日志机制这一事务处理性能瓶颈问题；为落实我国关键信息系统“自主可靠、安全可控”发展战略提供技术支撑。申请人和研究团队在高速数据流处理、分布式数据管理技术、新型数据管理系统等方面有长期丰富的研究积累，具有顺利开展项目研究的良好基础。

结项摘要

随着互联网向传统行业渗透，以及传统领域的互联网化，后台事务处理系统面临着前所未有的性能和可扩展性压力。可扩展数据管理系统是解决新兴互联网级应用事务处理需求问题的主要发展方向，但由于日志记录本身的特点，现有技术不足以满足系统横向扩展后对日志记录高效、快速、高通量，以及事务恢复可靠、可用、即时的要求。项目针对具有高性能、高通量、高可靠、高可用、高一致性的事务处理需求，基于可扩展DBMS架构，系统研究了高速日志记录和即时恢复的理论和方法；重点研究了单节点日志记录优化、多节点日志同步策略、新型非易失内存的利用等关键技术;形成开源系统原型，通过基准评测，验证了研究成果的效果；解决了日志机制这一事务处理性能瓶颈问题。项目成果作为开源数据库管理系统的一部分，成功在交通银行多个业务系统中应用，为落实我国关键信息系统“自主可靠、安全可控”发展战略提供了技术支撑。..课题已发表期刊论文3篇，会议论文9篇，另有一篇论文被SIGMOD 2018接收。课题申请专利1项，发布开源系统1项，培养博士生2名，硕士生2名。课题成果作为主要研究内容之一，获得了2017年度高等学校科学研究优秀成果奖（科学技术）科技进步一等奖。