基于SSD的大规模元数据处理技术研究

结题报告
项目介绍
AI项目解读

基本信息

  • 批准号：
    60970025
  • 项目类别：
    面上项目
  • 资助金额：
    30.0万
  • 负责人：
    熊劲
  • 依托单位：
    中国科学院计算技术研究所
  • 学科分类：
    F0202.系统软件、数据库与工业软件
  • 结题年份：
    2012
  • 批准年份：
    2009
  • 项目状态：
    已结题
  • 起止时间：
    2010-01-01 至2012-12-31

项目摘要

现在和未来越来越多的应用需要高效管理万亿量级文件的元数据，而现有的元数据处理技术在规模和性能方面还不能满足这样的需求。为解决这一问题，本课题研究提高大规模元数据处理性能的方法，主要内容包括：（1）研究能够适应元数据模动态增长的、名字空间自动划分的元数据分布方法，解决元数据处理的可扩展性问题和负载均衡问题；（2）利用SSD作为元数据的永久存储介质，研究根据SSD的I/O特征来组织元数据存储和管理元数据缓存的方法，提高单个元数据服务器的元数据处理的性能价格比；（3）研究大规模元数据的索引方法，提高大规模元数据的名字解析效率；（4）研究文件系统元数据的性能评价方法，分析典型应用的元数据访问模式和特征，开发一个能够模拟多种负载的元数据性能评测工具，为深入研究元数据处理奠定基础。通过本研究，能够为高效地管理万亿量级文件的元数据提供切实可行的解决方案。

结项摘要

随着IT技术的发展，互联网服务、传感器网络、物联网、科学工程计算、企业应用等各种应用的数据都在飞速增长， EB级海量数据的快速存取对文件系统的设计带来了前所未有的挑战，主要有以下三个方面：第一，现有的基于B+树的目录组织，对于万亿数量的文件元数据，存在伸缩性差和扩展困难等问题；第二，由于元数据访问的特点是小粒度的随机访问，对于这样的I/O模式，磁盘无法发挥其I/O带宽；第三，高并发的海量小文件访问性能低。.本课题针对上述三个问题进行深入的研究，并取得了以下六个方面的进展：.（1）针对基于SSD和HDD异构存储架构，提出了一种基于追加写和按访问热度的放置元数据的异构元数据存储技术Hybrid MDSL；.（2）针对含万亿数量文件的大名字空间，提出了一种按层次结构的粒度来自动划分名字空间的分布式元数据处理方法DDG；.（3）针对含万亿数量文件的大目录，提出了一种基于两级分布式可扩展哈希来组织和索引元数据的目录组织管理方法； .（4）针对海量小文件高并发访问，提出了一种基于表结构和列存储来组织小文件及其元数据的方法；.（5）针对I/O访问延迟高，提出了一种基于DRAM筛选数据和聚合写入的SSD缓存策略；.（6）针对海量小对象的并发读，提出了一种基于内存快照和追加写机制的键值存储技术。.. 在上述研究的基础上，我们在高水平国际会议和国内外核心期刊上发表了13篇学术论文（包括2篇已录用论文），提交了4份发明专利申请，获得了1份软件著作权登记，培养了2名博士生（毕业）和5名硕士生（毕业），以及2个分布式文件系统原型系统和1个本地键值存储系统原型系统。

项目成果

期刊论文数量（5）
专著数量（0）
科研奖励数量（0）
会议论文数量（6）
专利数量（3）
曙光星云分布式文件系统:海量小文件存取
  • DOI：
    --
  • 发表时间：
    --
  • 期刊：
    小型微型计算机系统
  • 影响因子：
    --
  • 作者：
    马灿;孟丹;熊劲
  • 通讯作者：
    熊劲
面向机群文件系统的高可靠消息传输机制
  • DOI：
    --
  • 发表时间：
    --
  • 期刊：
    Huazhong Keji Daxue Xuebao (ziran Kexue Ban)/journal of Huazhong University of Science and Technology (natural Science Edition)
  • 影响因子：
    --
  • 作者：
    周江;熊劲;马灿
  • 通讯作者：
    马灿
一种支持EB级存储的可扩展存储空间管理方法
  • DOI：
    --
  • 发表时间：
    --
  • 期刊：
    计算机研究与发展
  • 影响因子：
    --
  • 作者：
    邢晶;熊劲;孙凝晖;马捷
  • 通讯作者：
    马捷
Highly Reliable Message-Passing Mechanism for Cluster File System
高可靠的集群文件系统消息传递机制
  • DOI：
    --
  • 发表时间：
    --
  • 期刊：
    International Journal of Parallel, Emergent and Distributed Systems
  • 影响因子：
    --
  • 作者：
    Jiang Zhou;Can Ma;Jin Xiong;Weiping Wang;Dan Meng
  • 通讯作者：
    Dan Meng
基于SSD的机群文件系统元数据存储系统
  • DOI：
    --
  • 发表时间：
    --
  • 期刊：
    计算机研究与发展
  • 影响因子：
    --
  • 作者：
    陈卓;熊劲;马灿
  • 通讯作者：
    马灿

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi || "--"}}
  • 发表时间：
    {{ item.publish_year || "--" }}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor || "--"}}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ monograph.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ patent.updateTime }}

其他文献

影响非易失性内存系统性能的因素分析
  • DOI：
    --
  • 发表时间：
    2014
  • 期刊：
    计算机研究与发展
  • 影响因子：
    --
  • 作者：
    夏飞;蒋德钧;熊劲
  • 通讯作者：
    熊劲
异构存储感知的Ceph存储系统数据放置方法
  • DOI：
    --
  • 发表时间：
    2017
  • 期刊：
    计算机科学
  • 影响因子：
    --
  • 作者：
    刘飞;蒋德钧;张欢;陈静;王筠;熊劲
  • 通讯作者：
    熊劲
云南香格里拉特有易危植物中甸刺玫的表型多样性
  • DOI：
    --
  • 发表时间：
    2013
  • 期刊：
    园艺学报
  • 影响因子：
    --
  • 作者：
    李淑斌;熊劲;李进昆;唐开学
  • 通讯作者：
    唐开学
P2P网贷担保认证服务对借款的影响——以人人贷为例
  • DOI：
    --
  • 发表时间：
    2015
  • 期刊：
    管理现代化
  • 影响因子：
    --
  • 作者：
    熊劲;马超群;姚铮
  • 通讯作者：
    姚铮
我国P2P网络借贷市场散标出借人出资偏好实证分析
  • DOI：
    --
  • 发表时间：
    2015
  • 期刊：
    武汉金融
  • 影响因子：
    --
  • 作者：
    熊劲;马超群
  • 通讯作者：
    马超群

其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi || "--" }}
  • 发表时间：
    {{ item.publish_year || "--"}}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor || "--" }}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}
empty
内容获取失败，请点击重试
重试联系客服
title开始分析
查看分析示例
此项目为已结题，我已根据课题信息分析并撰写以下内容，帮您拓宽课题思路：

AI项目思路

AI技术路线图

熊劲的其他基金

面向数据中心混合负载的数据存储结构及其转换技术研究
  • 批准号：
    61379042
  • 批准年份：
    2013
  • 资助金额：
    76.0 万元
  • 项目类别：
    面上项目

相似国自然基金

{{ item.name }}
  • 批准号：
    {{ item.ratify_no }}
  • 批准年份：
    {{ item.approval_year }}
  • 资助金额：
    {{ item.support_num }}
  • 项目类别：
    {{ item.project_type }}

相似海外基金

{{ item.name }}
{{ item.translate_name }}
  • 批准号：
    {{ item.ratify_no }}
  • 财政年份：
    {{ item.approval_year }}
  • 资助金额：
    {{ item.support_num }}
  • 项目类别：
    {{ item.project_type }}
{{ showInfoDetail.title }}

作者：{{ showInfoDetail.author }}

知道了

AI项目解读示例

课题项目：调控A型流感病毒诱导IFN-β表达的机制研究

AI项目摘要：

本研究聚焦于TRIM2蛋白在A型流感病毒诱导的IFN-β表达中的调控机制。A型流感病毒是全球性健康问题，其感染可导致严重的呼吸道疾病。IFN-β作为关键的抗病毒因子，其表达水平对抗病毒防御至关重要。然而，TRIM2如何调控IFN-β的表达尚未明确。本研究假设TRIM2通过与病毒RNA或宿主因子相互作用，影响IFN-β的产生。我们将采用分子生物学、细胞生物学和免疫学方法，探索TRIM2与A型流感病毒诱导IFN-β表达的关系。预期结果将揭示TRIM2在抗病毒免疫反应中的作用，为开发新的抗病毒策略提供理论基础。该研究对理解宿主抗病毒机制具有重要科学意义，并可能对临床治疗流感病毒感染提供新的视角。

AI项目思路：

科学问题：TRIM2如何调控A型流感病毒诱导的IFN-β表达？
前期研究：已有研究表明TRIM2参与抗病毒反应，但其具体机制尚不明确。
研究创新点：本研究将深入探讨TRIM2在IFN-β表达中的直接作用机制。
技术路线：包括病毒学、分子生物学、细胞培养和免疫检测技术。
关键技术：TRIM2与病毒RNA的相互作用分析，IFN-β启动子活性检测。
实验模型：使用A型流感病毒感染的细胞模型进行研究。

AI技术路线图

        graph TD
          A[研究起始] --> B[文献回顾与假设提出]
          B --> C[实验设计与方法学准备]
          C --> D[A型流感病毒感染模型建立]
          D --> E[TRIM2与病毒RNA相互作用分析]
          E --> F[TRIM2对IFN-β启动子活性的影响]
          F --> G[IFN-β表达水平测定]
          G --> H[TRIM2功能丧失与获得研究]
          H --> I[数据收集与分析]
          I --> J[结果解释与科学验证]
          J --> K[研究结论与未来方向]
          K --> L[研究结束]
关闭
close
客服二维码