高质量大数据集成关键技术的研究

Due to the features of volume, velocity and variety, big data integration has data quality problem in higher possibility. Low-quality data may cause wrong query and analysis results, even disastrous accidents. This proposes urgent requirements for big data integration. However, with the absence of effective evaluation approach for the quality of data sources, big data cleaning approaches for heterogeneous data and approximately query processing approaches in dirty data in information integration, existing techniques can be hardly applied on big data integration. Therefore, this project attempts to study key technologies of high-quality big data integration based on the research basis. This project will propose computation-efficient data quality evaluation method for data sources, error detection and repairing techniques for heterogeneous big data, dirty-data-tolerate query processing in big data integration techniques, and develop a high-quality big data integration system to verify the correctness and effectiveness of proposed theories and techniques.

由于大数据的多样性、高速性和规模性，大数据集成有更大可能产生数据质量问题，低质量的数据会造成错误的查询和分析结果，甚至灾难性后果，这对高质量大数据集成提出了迫切要求。然而，由于缺少数据源质量有效评估、面向异构大数据的清洗方法、信息集成系统中劣质数据近似查询处理技术等原因，当前的技术难以用于大数据集成。故本项目基于课题组的研究基础，研究高质量大数据集成的关键技术。本项目拟提出计算有效的数据源质量评估模型、异构数据错误检测与修复技术、大数据集成中劣质容忍的查询处理技术，并开发一套高质量大数据集成原型系统，验证研究结果的正确性和有效性。

本课题是国家自然科学基金青年基金项目“高质量大数据集成关键技术的研究”，该课题针对数据质量这一大数据管理的热点问题，研究了在大数据上检测并修复错误的关键技术，具体来说，针对不一致、不完整和实体不同一这几类数据错误分别提出了适用于大数据的质量评估测度，错误检测与修复算法。按照研究计划，课题组人员开展了研究工作，针对不一致错误提出了：(1)基于FD和多数据源的错误检测算法，（2）基于MD和多数据源的错误检测算法，（3）基于MD和多数据源的一致性评估技术；针对不完整数据提出了：（1）基于多数据源的缺失元组填充算法，（2）基于多数据源的元组完整性评估算法；针对实体不同一错误提出了度量学习的实体识别算法。发表论文23篇，SCI收录4篇，EI收录14篇。课题组成员1次应邀在国际会议上进行国际大会的特邀报告。

内容获取失败，请点击重试