基于MapReduce的快速查询和分析关键技术的研究

结题报告
项目介绍
AI项目解读

基本信息

  • 批准号：
    61103009
  • 项目类别：
    青年科学基金项目
  • 资助金额：
    24.0万
  • 负责人：
    王鹏
  • 依托单位：
    复旦大学
  • 学科分类：
    F0202.系统软件、数据库与工业软件
  • 结题年份：
    2014
  • 批准年份：
    2011
  • 项目状态：
    已结题
  • 起止时间：
    2012-01-01 至2014-12-31

项目摘要

MapReduce技术被广泛的应用于很多大型的数据分析应用中。通过MapReduce框架，用户能够方便的开发分布式应用。但MapReduce批处理的实现机制，使得对海量数据的查询和分析，往往需等待很长时间才能得到最终结果，不利于交互式的数据分析。本项目拟针对这一问题，研究基于MapReduce的快速查询和分析的关键技术。在查询处理层研究查询操作的实时处理技术、效率估计函数和逻辑查询计划生成方法；系统层研究物理查询计划的生成和动态调整方法，以及快速MapReduce中的容错技术；结果展示层研究精简化、动态化和置信度量化的结果表示技术。还将针对数字图书馆的用户日志分析应用的特点，对MapReduce上增量式的查询分析展开研究。本项目对海量数据的分布式查询处理技术有着重要的学术意义；通过提高MapReduce应用响应时间，可以提升MapReduce的交互分析处理能力，具有实际应用价值。

结项摘要

在本课题的研究过程中，研究成果主要包含三个方面。.1、在详细分析MapReduce的源代码的基础上，通过修改MapReduce内核，设计并实现了Online MapReduce Aggregation系统。区别于传统的MapReduce执行过程，该系统能够在MapReduce执行过程中，不断地得到中间结果，这样方便执行人员能够不断地掌握算法执行结果，从而决定后续的结果是否需要。该成果发表于学生代克的毕业论文。.2、提出了一种基于MapReduce的聚类算法。算法提出了一种代表点的机制，通过将类似的点转换为代表点所表示的簇，从而大大降低k-means过程所涉及的点，从而提高了算法执行效率。该成果发表于CCF二区会议DASFAA 2014上。.3、提出了一种海量时间序列的索引技术。该方法一方面打破了已有方法中将时间序列降维和索引构建相隔离的机制，在索引构建过程中动态降维；另一方面同时提供了距离下界和上界的估计。该成果发表于CCF一区会议VLDB 2013上。

项目成果

期刊论文数量（0）
专著数量（0）
科研奖励数量（0）
会议论文数量（3）
专利数量（0）

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi || "--"}}
  • 发表时间：
    {{ item.publish_year || "--" }}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor || "--"}}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ monograph.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ patent.updateTime }}

其他文献

生物炭修复重金属污染土研究进展
  • DOI：
    10.13544/j.cnki.jeg.2017-360
  • 发表时间：
    2018
  • 期刊：
    工程地质学报
  • 影响因子：
    --
  • 作者：
    王宏胜;唐朝生;巩学鹏;王鹏;顾凯;李金文;施斌
  • 通讯作者：
    施斌
整体政府视角下的政务信息资源共享影响因素——基于结构方程的实证研究
  • DOI：
    10.16582/j.cnki.dzzw.2019.09.010
  • 发表时间：
    2019
  • 期刊：
    电子政务
  • 影响因子：
    --
  • 作者：
    王鹏;丁艺;魏必
  • 通讯作者：
    魏必
近红外漫反射光谱结合CARS-PLS规模化奶牛场粪便总氮定量分析模型的建立
  • DOI：
    10.19640/j.cnki.jtau.2020.01.018
  • 发表时间：
    2020
  • 期刊：
    天津农学院学报
  • 影响因子：
    --
  • 作者：
    王鹏;赵润;孟祥辉;付学周;辛悦;宁天阳;赵文雅;杨仁杰
  • 通讯作者：
    杨仁杰
75 t/h CFB燃煤锅炉烟道喷射吸附剂脱汞数值模拟
  • DOI：
    10.3969/j.issn.1001-0505.2020.02.019
  • 发表时间：
    2020
  • 期刊：
    东南大学学报. 自然科学版
  • 影响因子：
    --
  • 作者：
    王闰林;段钰锋;耿新泽;许一凡;陶君;谷小兵;王鹏;许忠
  • 通讯作者：
    许忠
人际信任与知识隐藏行为:个人声誉关注与不确定性感知的联合调节
  • DOI：
    10.14120/j.cnki.cn11-5057/f.2019.01.015
  • 发表时间：
    2019
  • 期刊：
    管理评论
  • 影响因子：
    --
  • 作者：
    王鹏;朱方伟;宋昊阳;鲍晓娜
  • 通讯作者：
    鲍晓娜

其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi || "--" }}
  • 发表时间：
    {{ item.publish_year || "--"}}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor || "--" }}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}
empty
内容获取失败，请点击重试
重试联系客服
title开始分析
查看分析示例
此项目为已结题，我已根据课题信息分析并撰写以下内容，帮您拓宽课题思路：

AI项目思路

AI技术路线图

王鹏的其他基金

胰腺癌免疫微环境特征分析与有效干预中药筛选体系构建
  • 批准号：
    82230122
  • 批准年份：
    2022
  • 资助金额：
    263.00 万元
  • 项目类别：
    重点项目
胰腺癌免疫微环境特征分析与有效干预中药筛选体系构建
  • 批准号：
  • 批准年份：
    2022
  • 资助金额：
    263 万元
  • 项目类别：
    重点项目
中西医结合肿瘤学
  • 批准号：
  • 批准年份：
    2020
  • 资助金额：
    400 万元
  • 项目类别：
    国家杰出青年科学基金
靶向抑制腺苷激酶经去DNA甲基化修饰胰岛素样生长因子-1改善缺血再灌注心肌能量代谢
  • 批准号：
    81900235
  • 批准年份：
    2019
  • 资助金额：
    21.0 万元
  • 项目类别：
    青年科学基金项目
肿瘤细胞来源外泌体miRNA调控巨噬细胞极化参与胰腺癌化疗敏感性研究
  • 批准号：
    81871989
  • 批准年份：
    2018
  • 资助金额：
    55.0 万元
  • 项目类别：
    面上项目
大规模监测型时间序列历史数据的查询和分析关键技术研究
  • 批准号：
    61672163
  • 批准年份：
    2016
  • 资助金额：
    63.0 万元
  • 项目类别：
    面上项目
炎症微环境诱导胰腺癌细胞自噬参与其化放疗抵抗的研究
  • 批准号：
    81572376
  • 批准年份：
    2015
  • 资助金额：
    65.0 万元
  • 项目类别：
    面上项目
IL-6-miR-124-Jagged1反馈环介导肿瘤细胞与微环境TAM相互作用参与胰腺癌侵袭转移
  • 批准号：
    81370068
  • 批准年份：
    2013
  • 资助金额：
    80.0 万元
  • 项目类别：
    面上项目
甲基化修饰介导的miR-124表达沉默对人胰腺癌细胞生物表型影响与机制分析
  • 批准号：
    81001061
  • 批准年份：
    2010
  • 资助金额：
    21.0 万元
  • 项目类别：
    青年科学基金项目

相似国自然基金

{{ item.name }}
  • 批准号：
    {{ item.ratify_no }}
  • 批准年份：
    {{ item.approval_year }}
  • 资助金额：
    {{ item.support_num }}
  • 项目类别：
    {{ item.project_type }}

相似海外基金

{{ item.name }}
{{ item.translate_name }}
  • 批准号：
    {{ item.ratify_no }}
  • 财政年份：
    {{ item.approval_year }}
  • 资助金额：
    {{ item.support_num }}
  • 项目类别：
    {{ item.project_type }}
{{ showInfoDetail.title }}

作者：{{ showInfoDetail.author }}

知道了

AI项目解读示例

课题项目：调控A型流感病毒诱导IFN-β表达的机制研究

AI项目摘要：

本研究聚焦于TRIM2蛋白在A型流感病毒诱导的IFN-β表达中的调控机制。A型流感病毒是全球性健康问题，其感染可导致严重的呼吸道疾病。IFN-β作为关键的抗病毒因子，其表达水平对抗病毒防御至关重要。然而，TRIM2如何调控IFN-β的表达尚未明确。本研究假设TRIM2通过与病毒RNA或宿主因子相互作用，影响IFN-β的产生。我们将采用分子生物学、细胞生物学和免疫学方法，探索TRIM2与A型流感病毒诱导IFN-β表达的关系。预期结果将揭示TRIM2在抗病毒免疫反应中的作用，为开发新的抗病毒策略提供理论基础。该研究对理解宿主抗病毒机制具有重要科学意义，并可能对临床治疗流感病毒感染提供新的视角。

AI项目思路：

科学问题：TRIM2如何调控A型流感病毒诱导的IFN-β表达？
前期研究：已有研究表明TRIM2参与抗病毒反应，但其具体机制尚不明确。
研究创新点：本研究将深入探讨TRIM2在IFN-β表达中的直接作用机制。
技术路线：包括病毒学、分子生物学、细胞培养和免疫检测技术。
关键技术：TRIM2与病毒RNA的相互作用分析，IFN-β启动子活性检测。
实验模型：使用A型流感病毒感染的细胞模型进行研究。

AI技术路线图

        graph TD
          A[研究起始] --> B[文献回顾与假设提出]
          B --> C[实验设计与方法学准备]
          C --> D[A型流感病毒感染模型建立]
          D --> E[TRIM2与病毒RNA相互作用分析]
          E --> F[TRIM2对IFN-β启动子活性的影响]
          F --> G[IFN-β表达水平测定]
          G --> H[TRIM2功能丧失与获得研究]
          H --> I[数据收集与分析]
          I --> J[结果解释与科学验证]
          J --> K[研究结论与未来方向]
          K --> L[研究结束]
关闭
close
客服二维码