喵ID:0JJYEo免责声明

RAMP: Real-Time Anomaly Detection in Scientific Workflows

基本信息

DOI:
10.1109/bigdata47090.2019.9005653
发表时间:
2019-01-01
期刊:
2019 IEEE INTERNATIONAL CONFERENCE ON BIG DATA (BIG DATA)
影响因子:
--
通讯作者:
Lu, Shiyong
中科院分区:
其他
文献类型:
Proceedings Paper
作者: Herath, J. Dinal;Bai, Changxin;Lu, Shiyong研究方向: -- MeSH主题词: --
关键词: --
来源链接:pubmed详情页地址

文献摘要

Research integrity is crucial to ensuring the trustworthiness of scientific discoveries. This work is aimed at detecting misbehaviors targeting scientific workflows, which are computing paradigms widely used to facilitate scientific collaborations across multiple geographically distributed research sites. We develop a new system called RAMP (Real-Time Aggregated Matrix Profile) for real-time anomaly detection in scientific workflow systems. RAMP builds upon an existing time series data analysis technique called Matrix Profile to detect anomalous distances among subsequences of event streams collected from scientific workflows in an online manner. Using an adaptive uncertainty function, the anomaly detection model is dynamically adjusted to prevent high false alarm rates. RAMP can incorporate user feedback on reported anomalies and modify model parameters to improve anomaly detection accuracy. Our experimental results from applying RAMP to the logs generated by DATAVIEW, a scientific workflow platform, show that RAMP is able to identify a varied range of anomalies with high accuracy for both interleaved and non-interleaved workflow executions in real time.
研究诚信对于确保科学发现的可信度至关重要。这项工作旨在检测针对科学工作流的不当行为,科学工作流是一种计算范式,广泛用于促进多个地理上分散的研究站点之间的科学协作。我们开发了一个名为RAMP(实时聚合矩阵轮廓)的新系统,用于科学工作流系统中的实时异常检测。RAMP基于一种现有的时间序列数据分析技术——矩阵轮廓,以在线方式检测从科学工作流收集的事件流子序列之间的异常距离。通过使用自适应不确定性函数,动态调整异常检测模型,以防止出现高误报率。RAMP可以纳入用户对已报告异常的反馈,并修改模型参数以提高异常检测的准确性。我们将RAMP应用于科学工作流平台DATAVIEW生成的日志,实验结果表明,RAMP能够实时高精度地识别交错和非交错工作流执行中的各种异常情况。
参考文献
被引文献

数据更新时间:{{ references.updateTime }}

关联基金

CICI: RSARC: Infrastructure Support for Securing Large-Scale Scientific Workflows
批准号:
1738929
批准年份:
2017
资助金额:
100
项目类别:
Standard Grant
Lu, Shiyong
通讯地址:
--
所属机构:
--
电子邮件地址:
--
免责声明免责声明
1、猫眼课题宝专注于为科研工作者提供省时、高效的文献资源检索和预览服务;
2、网站中的文献信息均来自公开、合规、透明的互联网文献查询网站,可以通过页面中的“来源链接”跳转数据网站。
3、在猫眼课题宝点击“求助全文”按钮,发布文献应助需求时求助者需要支付50喵币作为应助成功后的答谢给应助者,发送到用助者账户中。若文献求助失败支付的50喵币将退还至求助者账户中。所支付的喵币仅作为答谢,而不是作为文献的“购买”费用,平台也不从中收取任何费用,
4、特别提醒用户通过求助获得的文献原文仅用户个人学习使用,不得用于商业用途,否则一切风险由用户本人承担;
5、本平台尊重知识产权,如果权利所有者认为平台内容侵犯了其合法权益,可以通过本平台提供的版权投诉渠道提出投诉。一经核实,我们将立即采取措施删除/下架/断链等措施。
我已知晓