基于零星请求的低能耗磁盘调度策略研究
项目介绍
AI项目解读
基本信息
- 批准号:61272073
- 项目类别:面上项目
- 资助金额:80.0万
- 负责人:
- 依托单位:
- 学科分类:F0204.计算机系统结构与硬件技术
- 结题年份:2016
- 批准年份:2012
- 项目状态:已结题
- 起止时间:2013-01-01 至2016-12-31
- 项目参与者:周继鹏; 孟小华; 朱蔚恒; 张凌威; 李楷; 宋梁山; 方名; 黄新宇; 李美玉;
- 关键词:
项目摘要
Energy consumption of disk storage systems is one of the most important chalenges in the community. The non-bursty periods contained in disk I/O traffic offer potential opportunities for reduce the energy consumption of disk drives. However, the sporadic requests distributed within the non-bursty periods incur significant time and energy penalty.Based on the semantic patterns of block correlations, this project proposes to locate the sporadic requests by leveraging a frequent sequence mining approach. The sporadic requests are re-arranged to extend the time length so that the disk drives can stay in a low power state longer, thus saving energy. This project will expore the following topics: (1)This project will explore the non-bursty behaviour contained in disk I/O traffic, disclose the internal patterns and construct the corresponding mathematical models, and investigate how to leverage the bursty behaviour to locate those sporadic requests. (2) This project will employ multi-objective optimization theory to design the cost model of a power-aware disk scheduler based on the located sporadic requests, analyze the impact of this scheduler on the on-board disk cache, design an adaptive strategy to allocate the space of disk cache, thus minimizing the energy consumption of disk drives. (3)This project will explore and design a mechanism to guarantee the quality of service of disk drives when using the power-aware disk schedule. A prototype will be implemented to verify the theoretical results. This research will offer useful insights into how to reduce the energy consumption of disk based storage systems, distributed storage systems, data centers, etc.
基于磁盘的不同能耗状态切换,磁盘I/O中的非突发时段为降低其能耗提供了可能。但非突发时段之间的零星请求会导致高昂的时间和能量开销。本项目提出利用I/O的块关联性和频繁序列挖掘技术来定位该零星请求并进行调度,以尽可能延长磁盘处于低能耗状态的时间,从而在保证服务质量的前提下最大限度地降低其能耗。本项目将研究磁盘I/O中的非突发性数据访问行为,揭示其内在规律并构造合适的描述模型,探索该行为和零星请求的潜在联系并阐明其机理,设计零星请求的定位方法;利用多目标优化理论来研究并设计基于零星请求的低能耗调度策略的代价模型,明确磁盘Cache对该调度策略的影响,设计自适应的磁盘Cache分配策略以最大化该策略的能量节省;研究并设计基于该调度策略的磁盘服务质量保证机制。实现一个基于该策略的原型系统来验证理论成果。相关研究结果,对于降低多盘存储系统、分布式存储系统、数据中心等的能耗都将具有重要的参考作用。
结项摘要
由于数据爆炸性的增涨,大型数据中心中存储系统的能耗仅次于服务器和制冷系统。该项目以低能耗磁盘调度技术为核心,围绕能量感知型磁盘调度技术相关的工作进行了大量的研究。主要体现在以下几个方面:..(a)提出并设计了一种面向I/O流的关联I/O挖掘方法。该方法以一段时间内的数据块数为固定窗口,依次往后滑动进行序列挖掘。该方法充分利用了块I/O之间的局部性,使其能较准确地获得块I/O之间的关联性,同时也极大地提高了挖掘的效率,降低了挖掘开销。..(b)提出并设计了一种突发性I/O访问行为的预测方法。我们通过大量的Trace数据的分析发现,存储系统中的I/O请求的突发访问模式的主导因素并不是频繁关联的I/O请求,而是由占大多数的非关联I/O请求。于是提出了基于关联规则的突发性预测方法。该方法采用上面提出的关联I/O的挖掘方法,挖掘出I/O数据流中的关联I/O,然后从原始的I/O数据流中将关联I/O过滤掉。最后针对剩下的I/O数据流来进行突发访问行为的预测。实验结果表明,该方法和传统的时序预测方法比较,在较小的系统开销的情况下,能有效地提高预测的准确度。..(c)设计并实现了一种基于双块关联的能量感知的磁盘I/O调度策略。该调度策略主要由I/O行为分析模块、能耗管理模块、和调度模块组成。来自磁盘文件系统的I/O请求通过I/O行为分析模块来分析和识别突发时段和非突发时段,并通过一定时间的训练建立相应的I/O行为库。能耗管理模块则基于行为库中存储的I/O行为信息,预测系统中可能出现的非突发时段。如果非突发时段持续的时间较长,而且在该时间段内到达的请求数可能比较少,则选择合适的时间点将磁盘转入低能耗状态,以节省能量。当磁盘处于低能耗状态时,调度模块则负责处理到达磁盘的少量零星请求。..另外,项目依托能量感知型磁盘调度技术方面的研究成果,也进行了较多的外延方面的研究工作。例如,能量感知型的集群调度技术,能量感知型的存储集群数据复制策略,数据中心基于气流组织的能量感知型调度策略等等。..项目执行期间,发表和录用国际学术期刊论文13篇(包括三篇IEEE Transactions),发表国际会议论文16篇(其中14篇为CCF推荐的国际会议论文),发表和录用的中文期刊论文7篇,申报国家发明专利13件,获批国家发明专利5件,培养研究生11名。超额完成了预期的研究成果。
项目成果
期刊论文数量(10)
专著数量(0)
科研奖励数量(0)
会议论文数量(5)
专利数量(0)
大数据环境下高维数据的快速重复检测方法
- DOI:--
- 发表时间:2016
- 期刊:计算机研究与发展
- 影响因子:--
- 作者:朱蔚恒;印鉴;邓玉辉;龙舜;邱诗定
- 通讯作者:邱诗定
Ant colony-based energy control routing protocol for mobile ad hoc networks under different node mobility models
不同节点移动模型下移动自组织网络蚁群能量控制路由协议
- DOI:10.1186/s13638-016-0600-x
- 发表时间:2016-04
- 期刊:EURASIP Journal on Wireless Communications and Networking , DOI: 10.1186/s13638-016-0600-x
- 影响因子:--
- 作者:Jipeng Zhou;Haisheng Tan;Yuhui Deng;Lin Cui;Deng Deng Liu
- 通讯作者:Deng Deng Liu
Employing dual-block correlations to reduce the energy consumption of disk drives
采用双块关联来降低磁盘驱动器的能耗
- DOI:10.1007/s00607-016-0488-7
- 发表时间:2017-03
- 期刊:Computing
- 影响因子:3.7
- 作者:Deng Yuhui;Cai Jieming;Jiang Wen;Qin Xiao
- 通讯作者:Qin Xiao
EPAS: A Sampling Based Similarity Identification Algorithm for the Cloud
EPAS:一种基于采样的云相似性识别算法
- DOI:10.1109/tcc.2016.2527646
- 发表时间:2018
- 期刊:IEEE Transactions on Cloud Computing
- 影响因子:6.5
- 作者:Yongtao Zhou;Yuhui Deng;Junjie Xie;Laurence T. Yang
- 通讯作者:Laurence T. Yang
An Incrementally Scalable and Cost-efficient Interconnection Structure for Datacenters
数据中心的可增量扩展且经济高效的互连结构
- DOI:10.1109/tpds.2016.2629508
- 发表时间:2017
- 期刊:IEEE Transactions on Parallel and Distributed Systems
- 影响因子:5.3
- 作者:Junjie Xie;Yuhui Deng;Geyong Min;Yongtao Zhou
- 通讯作者:Yongtao Zhou
共 8 条
- 1
- 2
其他文献
网络编码集群存储系统基于锁机制的热数据重建策略
- DOI:--
- 发表时间:2018
- 期刊:小型微型计算机系统
- 影响因子:--
- 作者:赵昱帆;邓玉辉
- 通讯作者:邓玉辉
一种自适应分类重用距离来捕捉热数据的缓存算法
- DOI:--
- 发表时间:2018
- 期刊:小型微型计算机系统
- 影响因子:--
- 作者:艾亮;邓玉辉
- 通讯作者:邓玉辉
MFTL:一种基于固态盘系统非对齐更新数据的合并策略
- DOI:--
- 发表时间:2018
- 期刊:小型微型计算机系统
- 影响因子:--
- 作者:黄耀钦;邓玉辉
- 通讯作者:邓玉辉
云基础设施下的体系结构、挑战与机遇
- DOI:--
- 发表时间:--
- 期刊:小型微型计算机系统
- 影响因子:--
- 作者:邓玉辉
- 通讯作者:邓玉辉
基于Cayley图的六度环绕网络研究
- DOI:--
- 发表时间:2014
- 期刊:计算机学报
- 影响因子:--
- 作者:张震;肖文俊;黄书强;邓玉辉
- 通讯作者:邓玉辉
共 10 条
- 1
- 2
邓玉辉的其他基金
基于热循环的大规模分布式存储系统数据放置策略研究
- 批准号:62072214
- 批准年份:2020
- 资助金额:56 万元
- 项目类别:面上项目
基于内容感知型去重Cache的磁盘能耗管理策略研究
- 批准号:61572232
- 批准年份:2015
- 资助金额:65.0 万元
- 项目类别:面上项目
可能量感知的块压缩磁盘Cache中的关键技术研究
- 批准号:61073064
- 批准年份:2010
- 资助金额:11.0 万元
- 项目类别:面上项目