分布式存储系统中高时效性的数据缓存和修复策略研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61171074
项目类别：
面上项目
资助金额：
56.0万
负责人：
王新
依托单位：
复旦大学
学科分类：
F0104.通信网络
结题年份：
2015
批准年份：
2011
项目状态：
已结题
起止时间：
2012-01-01 至2015-12-31

项目参与者：
张睿；陈辰；林珉；李钧；荣鸣；刘磊；黄中杰；朱凌云；罗翊濠；
关键词：
随机线性编码数据冗余数据修复数据缓存分布式存储

项目摘要

分布式存储系统，利用网络将低成本的存储节点连接起来，可提供高时效的数据访问服务。在实际应用中，分布式存储系统面临因存储节点失效造成的数据不可访问甚至数据永久丢失的问题，而数据修复可以用来修复丢失的冗余数据。本项目旨在通过对数据修复过程进行优化，降低数据修复时间和修复过程的网络链路资源消耗，从而提高分布式存储系统中数据的可靠性和可用性。不同于由供应节点直接向新生节点传递数据的传统星形修复方法，我们研究优化的树形结构来进行数据修复，包括渐进式的树形修复和多树并行传输策略。因当前路由器计算和存储能力持续增强，且日益面向服务和用户需求。我们在数据修复的传输过程中可利用路由设备（路由器）对数据进行随机线性编码和编码数据缓存，从而降低数据修复的网络开销，有望取得更低的修复时间和更高的修复成功率。

结项摘要

分布式存储系统，利用网络将低成本的存储节点连接起来，可提供高时效的数据访问服务。在实际应用中，分布式存储系统面临因存储节点失效造成的数据不可访问甚至数据永久丢失的问题，而数据修复可以用来修复丢失的冗余数据。在本课题中，我们通过对数据修复过程进行优化，降低数据修复时间和修复过程的网络链路资源消耗，从而提高分布式存储系统中数据的可靠性和可用性。不同于由供应节点直接向新生节点传递数据的传统星形修复方法，我们研究并提出了优化的树形结构来进行数据修复，包括渐进式的树形修复和多树并行传输策略。因当前路由器计算和存储能力持续增强，且日益面向服务和用户需求。我们在数据修复的传输过程中利用了网络设备对数据进行随机线性编码和编码数据缓存，从而降低数据修复的网络开销，取得了更低的修复时间和更高的修复成功率。.我们不但从异构网络/节点协作、流水线时空资源调度、修复网络拓扑构造等方面研究并优化了修复性能，提升数据修复的高时效性，还从磁盘I/O、绿色节能角度来进行优化；我们不仅从数据中心角度研究修复性能，还从跨地理区域的广域分布式存储系统和更实际应用的机架式磁盘阵列场景来研究存储冗余修复；还考虑了移动网络应用场景；我们不仅采用了常用方法，还引入了复杂网络、软件定义网络的思想与相关研究方法；课题总体上达到了既定研究目标。