面向大数据存储的节省带宽修复的纠删码技术研究
项目介绍
AI项目解读
基本信息
- 批准号:61662038
- 项目类别:地区科学基金项目
- 资助金额:29.0万
- 负责人:
- 依托单位:
- 学科分类:F0204.计算机系统结构与硬件技术
- 结题年份:2020
- 批准年份:2016
- 项目状态:已结题
- 起止时间:2017-01-01 至2020-12-31
- 项目参与者:吕海涛; 屈晓平; 袁斯昊; 范德斌; 周红波; 饶莉莉;
- 关键词:
项目摘要
Big data is the recent hot issues in the computer field. Low bandwidth is consistent pursuit of goals in data repair in big data storage time. For this goal in big data storage, the project begins to do research on erasure codes to save repair bandwidth for big data storage. The research content includes three parts: (1) We will put forward the design objectives to save bandwidth consumption storage system as the cloud storage architectures, which combine with exact repair and functional repair; (2) We will propose erasure code scheme with exact repair properties, at the same time we analyze why the erasure code can keep the low bandwidth and low maintenance cost theoretically; (3) We will put forward a kind of algorithm, which can help the system to match automatically exact or functional repair. So that the system can repair itself on the basis of the minimum bandwidth consumption. Research conclusion will enrich the key theory and technology in the exact repair and functional repair of the big data storage, which has great application prospect in the big data storage.
大数据是近来计算机领域的热点问题。大数据存储时代进行数据修复,低修复带宽是大家一致追求的目标。针对大数据存储中的这一目标,本项目进行面向大数据存储的节省修复带宽的纠删码技术研究,其研究内容包括三个部分的内容:(1)提出节省带宽消耗存储系统的设计目标--结合精确修复和功能修复于一体的云存储架构;(2)提出节省修复带宽编码方案的具有精确修复特性的纠删码,同时也从理论上分析了该纠删码方案具有低修复带宽和低维护优势的原因;(3)提出一种判断算法,该算法能够自动完成精确修复或功能修复的匹配,从而系统能够在最低带宽消耗的基础上完成修复。课题的研究结论将丰富大数据存储中功能修复和精确修复的关键理论与技术,在大数据存储上有较大的应用前景。
结项摘要
本项目瞄准大数据领域的数据修复问题,利用纠删码技术来达到节省带宽消耗的目的。同时,通过提高系统的架构和运行策略,从而提高系统的运行速度和整体性能。研究内容和结果主要包括:(1)提出了一种节省修复带宽编码方案的纠删码,该方案设计的纠删码不仅可以提高大数据存储系统的可靠性,而且可以大大提高系统的性能。系统同时也从理论上分析了该纠删码方案具有低修复带宽和低维护优势的原因。(2)提出了一种支持副本策略和编码策略的分布式存储系统架构,该存储系统能够进行精确修复和功能性修复,并设计了节点调度和数据寻址方案。同时,为了提高编解码性能,进行了编解码效率分析。(3)根据分布式系统的作业调度情况,提出了一种基于改进蚁群算法的调度算法,能够降低作业完成时间同时兼顾用户的服务质量,使得系统系统总成本达到最小化。(4)针对系统内多节点协作处理的情况,提出了一种以最小平均任务时延为目标的非凸优化模型,通过反复迭代该模型的下界问题,从而获得原问题的近似解。研究成果为大数据领域的数据修复问题和系统架构的高效运行提供了新的解决方案,对丰富大数据领域及纠删码技术的研究具有重要的科学意义。
项目成果
期刊论文数量(5)
专著数量(0)
科研奖励数量(0)
会议论文数量(3)
专利数量(0)
A New Minimize Matrix Computation Coding Method for Distributed Storage Systems
一种新的分布式存储系统最小化矩阵计算编码方法
- DOI:10.1155/2019/4163780
- 发表时间:2019-11
- 期刊:Mathematical Problems in Engineering
- 影响因子:--
- 作者:Chao Yin;Haitao Lv;Tongfang Li;Xiaoping Qu;Jianzong Wang;Guangyong Gao
- 通讯作者:Guangyong Gao
A Barrage Sentiment Analysis Scheme Based on Expression and Tone
一种基于表情和语气的弹幕情感分析方案
- DOI:10.1109/access.2019.2957279
- 发表时间:2019-01-01
- 期刊:IEEE ACCESS
- 影响因子:3.9
- 作者:Cui, Zongmin;Qiu, Quanlei;Deng, Anyuan
- 通讯作者:Deng, Anyuan
Reversible Multiple Items Authentication Scheme for WSNs
无线传感器网络可逆多项目认证方案
- DOI:10.1109/access.2020.3036383
- 发表时间:2020
- 期刊:IEEE Access
- 影响因子:3.9
- 作者:Guangyong Gao;Bin Wu;YuXiang Wang;Zhiqiang Zhao;Liya Xu;Chao Yin
- 通讯作者:Chao Yin
A Hybrid Mechanism of Particle Swarm Optimization and Differential Evolution Algorithms based on Spark
基于Spark的粒子群优化与差分进化算法的混合机制
- DOI:10.3837/tiis.2019.12.010
- 发表时间:2019-12
- 期刊:KSII Transactions on Internet and Information Systems
- 影响因子:1.5
- 作者:Debin Fan;Jaewan Lee
- 通讯作者:Jaewan Lee
高维优化问题的多策略云差分进化算法
- DOI:10.16208/j.issn1000-7024.2018.09.017
- 发表时间:2018
- 期刊:计算机工程与设计
- 影响因子:--
- 作者:袁斯昊;邓长寿;董小刚;范德斌;殷超
- 通讯作者:殷超
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:{{ item.doi || "--"}}
- 发表时间:{{ item.publish_year || "--" }}
- 期刊:{{ item.journal_name }}
- 影响因子:{{ item.factor || "--"}}
- 作者:{{ item.authors }}
- 通讯作者:{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ patent.updateTime }}
其他文献
旅游洞穴空气环境时空变化特征及其影响因素——以贵州省绥阳大风洞为例
- DOI:10.11932/karst20160410
- 发表时间:2016
- 期刊:中国岩溶
- 影响因子:--
- 作者:潘艳喜;周忠发;李坡;曹明达;张绍云;殷超;张结
- 通讯作者:张结
核壳结构纳米纤维掺杂PMMA/PVDF基复合介质的储能特性研究
- DOI:10.13334/j.0258-8013.pcsee.201608
- 发表时间:2021
- 期刊:中国电机工程学报
- 影响因子:--
- 作者:迟庆国;殷超;张天栋;张昌海;冯宇;张月;陈庆国
- 通讯作者:陈庆国
基于GLCM与自适应Gabor滤波器组的纹理图像分割
- DOI:--
- 发表时间:2017
- 期刊:计算机工程
- 影响因子:--
- 作者:闵永智;程天栋;殷超;岳彪;肖本郁;马宏锋
- 通讯作者:马宏锋
喀斯特洞穴滴水水文化学过程的时空变化及其环境指示——以贵州织金洞为例
- DOI:10.13869/j.cnki.rswc.2017.03.058
- 发表时间:2017
- 期刊:水土保持研究
- 影响因子:--
- 作者:曹明达;周忠发;潘艳喜;张结;殷超;张绍云
- 通讯作者:张绍云
矩形钢管混凝土柱往复拉压荷载下工作性能试验研究
- DOI:--
- 发表时间:2012
- 期刊:世界地震工程
- 影响因子:--
- 作者:董宏英;殷超;CAO Wanlin1,ZHANG Jingjie1,DUAN Xiubin1,DONG Hongying1,YIN Ch;2.ARUP,Beijing 100020,China)
- 通讯作者:2.ARUP,Beijing 100020,China)
其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:{{ item.doi || "--" }}
- 发表时间:{{ item.publish_year || "--"}}
- 期刊:{{ item.journal_name }}
- 影响因子:{{ item.factor || "--" }}
- 作者:{{ item.authors }}
- 通讯作者:{{ item.author }}

内容获取失败,请点击重试

查看分析示例
此项目为已结题,我已根据课题信息分析并撰写以下内容,帮您拓宽课题思路:
AI项目摘要
AI项目思路
AI技术路线图

请为本次AI项目解读的内容对您的实用性打分
非常不实用
非常实用
1
2
3
4
5
6
7
8
9
10
您认为此功能如何分析更能满足您的需求,请填写您的反馈:
相似国自然基金
{{ item.name }}
- 批准号:{{ item.ratify_no }}
- 批准年份:{{ item.approval_year }}
- 资助金额:{{ item.support_num }}
- 项目类别:{{ item.project_type }}
相似海外基金
{{
item.name }}
{{ item.translate_name }}
- 批准号:{{ item.ratify_no }}
- 财政年份:{{ item.approval_year }}
- 资助金额:{{ item.support_num }}
- 项目类别:{{ item.project_type }}