融合浅层与深层表达的高维空间异常点检测方法研究

Outlier detection is one of the difficult and hot issues in the fields of machine learning, data mining, pattern recognition and others. It is even more challenging for high dimensional space. This project takes the high-dimensional data as a research subject, reveals some unusual structural features in data representation; Concrete and abstract features can be interpreted within both the shallow and deep structure models, then the compact data set boundaries and the discriminant framework for outlier detection are constructed to satisfy the requirements of high detecting precision and fast testing. The main research works include: construct unusual structural features in both the shallow and deep representations; build compact data set boundaries and the discriminant model based on the fusion of characters. This research outcome of this project can overcome the limitations of existing research only relying on a single approach and will promote the development of outlier detection from both empirical and theoretical aspects.

异常点检测是机器学习、数据挖掘、模式识别等领域的研究热点和难点。面向高维空间的异常点检测更具有一定的挑战性。针对由数据的多维性引起的检测精度差和效率低问题，本项目拟以高维空间数据为研究对象，揭示数据表达所蕴含的异常结构特征；在融合浅层表达的具体特征与深层表达抽象特征基础上，构建紧致的数据集边界和鲁棒性判定框架，从而满足异常点高精度检测和快速测试的需求。项目主要研究内容包括：建立浅层表达与深层表达所蕴含的异常结构特征；构建紧致的数据集边界；融合数据表达的具体特征和抽象特征构建鲁棒的异常点检测模型。本项目的研究将改变现有检测方法仅采用单项技术的局限，对进一步推动高维空间异常点检测的发展及应用具有重要的实用价值和科学意义。

本项目基于数据表达的排序得分、分类等手段，构建了浅层与深层模型，揭示了数据表达所蕴含的异常结构特征，主要成果如下：(1) 发现稀疏数据表达的负成分一般对应当前观测点仿射组合中较边缘的点，定义了当前观测点有关的全局表达中零值和负值个数的线性函数，用于评价当前观测点属于异常点的程度；(2)随着数据维度增加，基于距离的可区分性越来越小，我们提出了一种基于数据表达结构得分的异常检测方法；(3) 提出了一种新的局部结构评价方法。利用结构稳定性评价局部结构保持的特性。通过研究发现较好的结构稳定性可以达到较高的对齐精度，但反之不成立；（4）构建了角度与密度浅层特征，提出了基于局部空间的联合测度异常检测方法，较好地反映出数据集的结构特性，可根据需求确定异常点的数量，提高了算法的自适应性；（5）针对数据样本不平衡问题，构造全局不相关得分与局部degree特征提出了一种无监督的异常检测方法。证明了随着数据点到簇类中心的距离增加，点异常性增强；但当簇密度大且局部degree高的话，异常性会减弱；（6）融合CMR图像异常特征和临床信息提出了多模态深度学习异常检测模型，用于扩张性心肌病死亡风险二分类预测，通过最大化Wilcoxon-Mann-Whitney (WMW)统计量来直接优化AUC指标训练多模态深度分类器的损失函数，可有效解决样本不平衡问题。上述主要结果证明了基于数据表达的方法可有效检测高维空间异常点。

内容获取失败，请点击重试