基于优质数据分离的大数据查询问题研究

With the wide use of big data in every walk of life, the “quantity” of data is growing rapidly, but the "quality" of data is declining. Therefore, query algorithms need to guarantee the efficiency and quality of query results at the same time. However, repairing the entire data set often leads to inefficiency, and the data quality of the items in the same data set may vary. Thus, in big data environment, a promising solution to get high-quality query results is to extract a high-quality subset consisting of data items highly relevant to the query from the big data set, and to obtain query results based on those extracted high-quality data. To this end, this proposal studies the problems of querying big data based on extracting high-quality data, focusing on both “quantity” and "quality". First, a query-oriented data extraction model will be built. Based on the model, a subset of data consisting of the high-quality data items relevant to the given query can be extracted from the big data set. Then, the problems of query rewriting based on data quality constraints will be studied, and a set of algorithms will be provided for redirecting the original query to the extracted high-quality data. After that, efficient updating mechanisms will be established for the pre-computed results which should be long-term stored to accelerate the whole computation. At last, a prototype system will be designed and implemented based on the proposed theories and methods. We hope that this research can solve several key problems of querying big data based on extracting high-quality data, and offer some references for the future related research.

当前，各行各业中数据的“量”飞速增长，但“质”却不断下降，这一方面要求查询算法能够保证效率，另一方面还要求其保证结果的数据质量。由于完全修复数据在大数据环境下会变的低效，而同属一个大数据集合的数据项的质量可能参差不齐，故可尝试通过分离大数据集合中与查询相关的高质量数据子集来缩减数据规模并保证结果质量。为此，本项目拟从“量”和“质”同时出发，研究基于优质数据分离的大数据查询问题：首先，建立面向查询的优质数据分离模型，从大数据集合中分离出一个和查询密切相关的优质数据子集；接着，研究基于质量约束的目标查询改写问题，设计算法用于改写原始查询使之指向优质数据子集，并获取高质量查询结果；然后，针对前两个问题中为保证效率而需长期存储的预计算结果，建立高效的更新机制；最后还将基于上述理论和算法开发一个原型系统。希望通过本项目研究，解决基于优质数据分离的大数据查询的一些关键问题，为后续研究提供有价值的思路。

近年来，数据质量管理的重要性在各行业大数据治理中日益凸显。大数据环境下的数据质量管理同时面临着“量”和“质”两方面的挑战。为了高效地从海量数据中获得高质量的查询结果，一个切实可行的思路是针对给定的查询，通过分离大数据集合中与查询相关的高质量数据子集来缩减数据规模，进而同时提升查询执行效率和查询结果质量。本项目从“量”和“质”同时出发，研究基于优质数据分离的大数据查询问题，完成了四方面的主要工作。在面向查询的优质数据分离方法方面，提出了：① 高时效性数据分离问题的模型和算法，② 分离结果的数据时效性评估模型，③ 多数据源环境下的优质数据分离模型和算法。在基于质量约束的目标查询改写算法方面，设计了：① 细粒度的数据质量评估模型及查询改写算法；② 时空关联的数据源质量评估和目标查询改写方法。在动态场景下分离与改写结果更新策略方面，研究了：① 劣质数据对数据分析和查询结果的影响程度，② 基于属性关系增强的不一致数据匹配模型，③ 基于强化学习的增量式劣质数据处理机制。此外，还构建了用于支撑优质数据分离和查询改写的上下游必要机制。项目在执行期间取得了良好的进展，在国际知名期刊和会议共发表论文12篇，其中SCI国际期刊9篇，EI国际会议3篇，申请专利2项。

内容获取失败，请点击重试