中国公共数据库数据质量控制的粒化方法研究

结题报告

项目介绍

AI项目解读

基本信息

批准号：
61573173
项目类别：
面上项目
资助金额：
64.0万
负责人：
刘文奇
依托单位：
昆明理工大学
学科分类：
F0603.机器学习
结题年份：
2019
批准年份：
2015
项目状态：
已结题
起止时间：
2016-01-01 至2019-12-31

项目参与者：
李金海；赵宁；范敏；任悦；张慧雯；赵颖秀；黄晨晨；郑斌；
关键词：
数据清洗数据整合数据审计数据隐私缺失值处理

项目摘要

By considering the characteristics of Chinese public database and the theoretical and technical problems in data quality control, some effective data processing models for Chinese public database with multi-source information are developed based on rough set, concept lattice and variable weight synthesis theory. In this study, multi-granulation rough set and concept lattice models, multi-granulation rough set model for entity identification, and test-cost-sensitive selecting approach of minimum data sets are developed to deal with multi-source information fusion of Chinese public database, which are further applied to databases of CCCQ, CPS and CSH. This research will obtain theoretical and technical innovations in multi-granularity of multi-source data, quick attribute reduction, multi-granularity for entity identification and multi-factors (technique cost, financial cost, privacy cost, policy risk, etc.) variable weight synthesis for test-cost-sensitive evaluation. Some important results in the above aspects are to be expected.

针对我国公共数据库的特点和数据质量控制中存在的理论及技术难题，在分析现有的某些公共数据库数据质量状况的基础上，建立和运用基于粗糙集、概念格和变权分析理论的公共数据库多源性公共数据处理（清洗）模型. 本项目研究中，重点发展公共数据库多源数据融合的多粒度粗糙集概念格模型、实体识别的多粒度粗糙集模型和最小数据集生成的多粒度代价敏感算法，并在国家企业质量信用数据库（CCCQ）、中国公安数据库（CPS）、国家学生健康数据库（CSH）等真实的公共数据库中进行实证分析. 本项目研究将在公共数据库数据融合的多粒度信息粒化、快速属性约简、多粒度化实体识别和多要素（技术成本、财务成本、隐私保护、政策风险等）变权综合代价敏感几个方面获得理论创新和技术创新，取得标志性理论成果和应用成果.

结项摘要

针对我国公共数据库的特点和数据质量控制中存在的理论及技术难题，在分析质量技术监督数据、气候环境数据、司法数据等公共数据库数据质量状况的基础上，运用复杂网络、演化博弈论、概念认知学习、相变理论、变权理论、分布式协同控制理论等，建立了较完整的公共数据库数据质量控制与数据分析的粒化理论基础，并提出若干公共数据粒化方法且应用与公共数据最小数据集、公共数据电子证据系统、气候和环境数据粒化及实证分析，取得良好效果。通过研究，我们在以下几个方面研究中取得重要结果：（A）复杂网络上的公共数据演化博弈与数据质量控制；（B）基于概念认知学习的公共数据粒化方法；（C）公共数据中电子证据的获取、粒化与区块链技术；（D）大气、环境与企业质量信用公共数据粒化方法及实证分析；（E）基于社区检测的数据粒相互依赖性研究。本项目研究成果表明：（1）公共数据库数据质量控制中，公共数据库网络上的数据演化博弈存在合作者，而合作者比率既依赖于公共数据监督部门的稽查力度和奖惩力度也依赖于数据粒度的大小和粒化方法；（2）公共数据库数据粒化的过程是复杂网络上一个概念认知学习的过程，粒化的过程是渐进的，最终形成与现实公共产品供给的对象相对应的相对稳定的概念，进而影响现实公共数据处理与分析的逻辑结论；（3）提出的理论与方法在处理气候、环境、电子证据和质量技术监督信用数据中应用效果好，有助于提升气候预报、大气污染防控、司法办案和产品质量安全领域公共数据治理水平和公共产品质量。这些成果覆盖了项目申请书和计划书的全部研究内容并达到了相应的预期研究目标、取得了预期成果。. 该项目研究取得了丰富的成果，其中标志性成果发表于国内外权威的学术期刊上，包括《中国科学》3篇、IEEE Transactions系列1篇，Omega 1篇，SCI检索论文10篇，大大超出项目申请书提出的成果发表指标。在项目期内，人才培养成效显著，具体为：课题组成员中1人晋升为教授，1人晋升为副教授，3人被聘为博士生导师；10人研究生毕业并获得硕士学位（其中5人考取博士研究生），另有3人在读研究生考取硕博连读博士研究生。项目期内，国际国内学术交流成效显著，具体为：国际学术交流9人次，来访7人次，派出2人次，接受2名留学生来课题组攻读博士学位（导师为刘文奇）；举办国内学术会议3次，外出参加国内学术会议40多人次；举办“捞鱼河讲坛”24期。