针对多核系统存储层次增强数据并行性能的软件支撑技术研究
项目介绍
AI项目解读
基本信息
- 批准号:61003063
- 项目类别:青年科学基金项目
- 资助金额:18.0万
- 负责人:
- 依托单位:
- 学科分类:F0204.计算机系统结构与硬件技术
- 结题年份:2013
- 批准年份:2010
- 项目状态:已结题
- 起止时间:2011-01-01 至2013-12-31
- 项目参与者:王鹏; 冯清青; 席华锋; 路远征;
- 关键词:
项目摘要
SMP、NUMA结构的多核系统复杂的存储层次特征严重影响着并行应用的性能,其症结在于如何充分发挥LLC和Memory效率,而以数据局部性为中心的软件优化方法成为研究趋势。本项目针对数据中心最有代表性的数据并行编程模型OpenMP和MapReduce,从中挖掘数据局部性特征,并结合多核系统存储层次特征,以提高LLC、Memory效率为目标,多层次一体化地研究OpenMP运行时系统自适应调度技术、Hadoop运行时系统作业任务协同调度技术、操作系统并行线程集分层聚集映射算法、同步调度执行算法以及软件Cache分区技术,为增强多核系统数据并行类应用的并行性能提供共性的软件支撑技术。创新之处在于通过具体编程模型挖掘应用负载的数据局部性特征以及建立三个模型(存储层次模型、局部性关系图模型以及多核效率模型)研究上述关键技术。其研究成果将有助于增强数据中心并行应用在多核系统上的并行性能和可扩展性。
结项摘要
SMP、NUMA结构的多核系统具有复杂的存储层次特征,严重影响着并行应用的性能,其症结在于如何充分发挥Memoy数据存取性能和LLC效率,而以数据局部性为中心的软件优化方法成为研究趋势。本项目在如下几个方面取得重要研究进展:.(1)提出一种新的memory层次化并行计算模型,对多核处理器机群memory横向、纵向层次化特征进行了统一的抽象。在对多核处理器机群点对点通信和集合通信的开销进行模型分析和实际测试中,新模型的精确性优于现有的未引入memory横向层次化特征的模型。基于此模型,对多核机群MPI集合通信的性能进行了优化,效果是明显的。.(2)研究了数据密集型计算的特点,指出了数据密集型编程模型遇到的基本问题,分析比较了国际上有代表性编程模型的特点,对今后的发展趋势进行了总结和展望。.(3)数据局部性是影响Hadoop应用性能的关键因素,本项目提出了适用于Hadoop MapReduce的NKS任务调度方法。此方法通过尽量将任务保留给存储其输入数据的节点,避免任务在处理过程中执行远程I/O操作,达到减少数据访问时延的目标。此方法应用到空间计算领域,取得较好效果。.(4)在满足应用QoS的前提下,提高系统的资源利用率,是数据中心资源管理研究的一个难点,原因在于应用的资源消耗是动态变化的。为了保证应用的QoS,需要实时预测应用的资源需求,系统以此动态按需供应资源。本项目提出一种作业资源匹配算法,对数据中心所有作业进行布局,使不同优先级、不同资源需求及变换规律的作业在节点上混合部署,不仅极大地降低了发生节点资源紧缺的频度,而且实验证明,该算法在相同资源需求的情况下,还能提高应用的性能。.本项目发表论文7篇,授权专利1项,培养研究生4名。
项目成果
期刊论文数量(3)
专著数量(0)
科研奖励数量(0)
会议论文数量(1)
专利数量(1)
QoS保证的数据中心动态资源供应方法
- DOI:--
- 发表时间:--
- 期刊:计算机学报
- 影响因子:--
- 作者:李青;李勇;涂碧波;孟丹
- 通讯作者:孟丹
Performance analysis and optimization of MPI collective operations on multi-core clusters
多核集群上MPI集体运算的性能分析与优化
- DOI:10.1007/s11227-009-0296-3
- 发表时间:2012-04
- 期刊:Journal of Supercomputing
- 影响因子:3.3
- 作者:Tu, Bibo;Fan, Jianping;Zhan, Jianfeng;Zhao, Xiaofang
- 通讯作者:Zhao, Xiaofang
数据密集型计算编程模型研究进展
- DOI:--
- 发表时间:--
- 期刊:计算机研究与发展
- 影响因子:--
- 作者:涂碧波;孟丹;王鹏;詹剑锋
- 通讯作者:詹剑锋
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:{{ item.doi || "--"}}
- 发表时间:{{ item.publish_year || "--" }}
- 期刊:{{ item.journal_name }}
- 影响因子:{{ item.factor || "--"}}
- 作者:{{ item.authors }}
- 通讯作者:{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ patent.updateTime }}
其他文献
软件定义网络流的安全要素知识图谱研究
- DOI:--
- 发表时间:2019
- 期刊:信息安全学报
- 影响因子:--
- 作者:游瑞邦;袁子牧;涂碧波;孟丹
- 通讯作者:孟丹
其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:{{ item.doi || "--" }}
- 发表时间:{{ item.publish_year || "--"}}
- 期刊:{{ item.journal_name }}
- 影响因子:{{ item.factor || "--" }}
- 作者:{{ item.authors }}
- 通讯作者:{{ item.author }}

内容获取失败,请点击重试

查看分析示例
此项目为已结题,我已根据课题信息分析并撰写以下内容,帮您拓宽课题思路:
AI项目摘要
AI项目思路
AI技术路线图

请为本次AI项目解读的内容对您的实用性打分
非常不实用
非常实用
1
2
3
4
5
6
7
8
9
10
您认为此功能如何分析更能满足您的需求,请填写您的反馈:
相似国自然基金
{{ item.name }}
- 批准号:{{ item.ratify_no }}
- 批准年份:{{ item.approval_year }}
- 资助金额:{{ item.support_num }}
- 项目类别:{{ item.project_type }}
相似海外基金
{{
item.name }}
{{ item.translate_name }}
- 批准号:{{ item.ratify_no }}
- 财政年份:{{ item.approval_year }}
- 资助金额:{{ item.support_num }}
- 项目类别:{{ item.project_type }}