日志模式提炼与跨类型日志分析方法研究

结题报告
项目介绍
AI项目解读

基本信息

  • 批准号:
    61702477
  • 项目类别:
    青年科学基金项目
  • 资助金额:
    25.0万
  • 负责人:
  • 依托单位:
  • 学科分类:
    F0211.信息检索与社会计算
  • 结题年份:
    2020
  • 批准年份:
    2017
  • 项目状态:
    已结题
  • 起止时间:
    2018-01-01 至2020-12-31

项目摘要

Logs are important sources for information needed to maintain computing systems, but the huge amount, complex formats and multiple types make log analyzing become a difficult problem. The national High-Performance Computing Environment is a key service platform for scientific researches, and the maintenance affects the efficiency of the environment. But there have no proper way to process the multi-type logs generated by the HPC environment yet. This program aims to solve key issues in processing environment logs. We will formalize the definition of log patterns, expand application fields and optimize the extracting algorithm. By using log patterns, the program will apply analyses over multiple types of logs to discover the associations and user behavior characteristics. The result of the program will be applied to the national HPC environments, and we will make the abstraction of the method for log processing to become a general solution for other computer systems.
日志是计算机系统运行维护工作中重要的信息来源,但其具有的数量大、格式各异、类型复杂等特征给日志分析工作造成许多困难。国家高性能计算环境作为国家科研领域的战略性服务工具,对环境的运行维护则决定着环境的工作效率,但环境中产生的大量各类日志目前尚未存在一个良好的处理和分析方法。本项目将着眼于环境日志分析中的几个关键技术,通过进行关于日志模式的定义和应用扩展、以及对于日志模式提炼算法的优化对日志进行整理,并对环境中的多种类型的日志展开跨类型综合分析,探索其中的关联性和用户行为分析方法。研究成果预期将应用于国家高性能计算环境,同时进行抽象使之适用于高性能计算环境以外的其他计算机系统。

结项摘要

本项目的主要目标是研究日志分类方法的优化及其应用,以及跨多种类型日志的联合分析方法。项目执行期间主要进行了日志模式提炼算法的优化工作以及从多种角度进行日志分析方法研究工作,包括日志流量特征分析、日志关联性异常分析、用户行为特征分析等,并根据所研方法总结了一些通用的日志处理分析工作流程。项目基于过往研究工作中提出的日志模式提炼算法,对于日志分类方法进行了进一步的优化,包括采用文本相似性的概念实现将不同长度但类似含义的日志归类为同一类型,并采用HashMap对日志模式存储进行改进及加速类型比对速度;基于实际环境运行需求,项目进行了关于日志流量异常的分析方法研究,通过对于环境服务器中的各日志类型在单位时间内的发生次数进行流量模型的建立,可以发现服务器日志流量的突然增加或减少的异常情况,从而支持解决相应的环境问题;项目研究了基于日志关联性的跨类型日志异常分析方法,针对一次环境异常的成因和表现可能存在于不同类型的日志文件中的情况,通过计算不同所属日志类型之间的关联性对关键异常进行逆向关联性追溯,并基于分析结果建立关联性模型实现异常预测;项目基于深度学习算法建立了用户行为特征模型,可以根据一次会话中用户之前的操作顺序来预测下一个操作种类的概率,再将预测结果与用户的实际操作进行比对,当用户的实际操作与行为特征模型持续发生较大差异时,可以判定用户行为已发生变更,应根据实际情况进行针对性响应;项目基于所研之日分析方法处理流程以及其他研究人员在日志分析方面的成果,初步总结了比较通用的日志处理分析流程,包括数据收集、日志分类、内容分析和结果反馈等步骤,总体上对日志分析工作流程进行了抽象,可以适用于其他环境的日志分析工作。项目研究的方法已实现在国家高性能计算环境中的实际应用。

项目成果

期刊论文数量(3)
专著数量(0)
科研奖励数量(0)
会议论文数量(4)
专利数量(0)
多节点系统异常日志流量模式检测方法
  • DOI:
    --
  • 发表时间:
    2020
  • 期刊:
    软件学报
  • 影响因子:
    --
  • 作者:
    王晓东;赵一宁;肖海力;迟学斌;王小宁
  • 通讯作者:
    王小宁
线上多节点日志流量异常检测系统的研究
  • DOI:
    --
  • 发表时间:
    2020
  • 期刊:
    计算机科学与探索
  • 影响因子:
    --
  • 作者:
    王晓东;赵一宁;肖海力;王小宁;迟学斌
  • 通讯作者:
    迟学斌
使用GNN与RNN实现用户行为分析
  • DOI:
    --
  • 发表时间:
    --
  • 期刊:
    计算机科学与探索
  • 影响因子:
    --
  • 作者:
    王晓东;赵一宁;肖海力;王小宁;迟学斌
  • 通讯作者:
    迟学斌

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi || "--"}}
  • 发表时间:
    {{ item.publish_year || "--" }}
  • 期刊:
    {{ item.journal_name }}
  • 影响因子:
    {{ item.factor || "--"}}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.authors }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.authors }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.authors }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.authors }}

数据更新时间:{{ patent.updateTime }}

其他文献

MicroRNA-218通过EMT抑制肿瘤侵袭转移的研究进展
  • DOI:
    --
  • 发表时间:
    2019
  • 期刊:
    现代肿瘤医学
  • 影响因子:
    --
  • 作者:
    赵一宁;盖俊达;李庆昌
  • 通讯作者:
    李庆昌

其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi || "--" }}
  • 发表时间:
    {{ item.publish_year || "--"}}
  • 期刊:
    {{ item.journal_name }}
  • 影响因子:
    {{ item.factor || "--" }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}
empty
内容获取失败,请点击重试
重试联系客服
title开始分析
查看分析示例
此项目为已结题,我已根据课题信息分析并撰写以下内容,帮您拓宽课题思路:

AI项目思路

AI技术路线图

相似国自然基金

{{ item.name }}
  • 批准号:
    {{ item.ratify_no }}
  • 批准年份:
    {{ item.approval_year }}
  • 资助金额:
    {{ item.support_num }}
  • 项目类别:
    {{ item.project_type }}

相似海外基金

{{ item.name }}
{{ item.translate_name }}
  • 批准号:
    {{ item.ratify_no }}
  • 财政年份:
    {{ item.approval_year }}
  • 资助金额:
    {{ item.support_num }}
  • 项目类别:
    {{ item.project_type }}
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了

AI项目解读示例

课题项目:调控A型流感病毒诱导IFN-β表达的机制研究

AI项目摘要:

本研究聚焦于TRIM2蛋白在A型流感病毒诱导的IFN-β表达中的调控机制。A型流感病毒是全球性健康问题,其感染可导致严重的呼吸道疾病。IFN-β作为关键的抗病毒因子,其表达水平对抗病毒防御至关重要。然而,TRIM2如何调控IFN-β的表达尚未明确。本研究假设TRIM2通过与病毒RNA或宿主因子相互作用,影响IFN-β的产生。我们将采用分子生物学、细胞生物学和免疫学方法,探索TRIM2与A型流感病毒诱导IFN-β表达的关系。预期结果将揭示TRIM2在抗病毒免疫反应中的作用,为开发新的抗病毒策略提供理论基础。该研究对理解宿主抗病毒机制具有重要科学意义,并可能对临床治疗流感病毒感染提供新的视角。

AI项目思路:

科学问题:TRIM2如何调控A型流感病毒诱导的IFN-β表达?
前期研究:已有研究表明TRIM2参与抗病毒反应,但其具体机制尚不明确。
研究创新点:本研究将深入探讨TRIM2在IFN-β表达中的直接作用机制。
技术路线:包括病毒学、分子生物学、细胞培养和免疫检测技术。
关键技术:TRIM2与病毒RNA的相互作用分析,IFN-β启动子活性检测。
实验模型:使用A型流感病毒感染的细胞模型进行研究。

AI技术路线图

        graph TD
          A[研究起始] --> B[文献回顾与假设提出]
          B --> C[实验设计与方法学准备]
          C --> D[A型流感病毒感染模型建立]
          D --> E[TRIM2与病毒RNA相互作用分析]
          E --> F[TRIM2对IFN-β启动子活性的影响]
          F --> G[IFN-β表达水平测定]
          G --> H[TRIM2功能丧失与获得研究]
          H --> I[数据收集与分析]
          I --> J[结果解释与科学验证]
          J --> K[研究结论与未来方向]
          K --> L[研究结束]
      
关闭
close
客服二维码