[发明专利]一种数据样本集合中异常点的检测方法和装置

说明书

本发明公开了一种数据样本集合中异常点的检测方法和装置，通过对数据样本集合中的各数据样本进行量化的计算，得到各数据样本的目标异常值，可以根据各数据样本的目标异常值，确定各数据样本是否为该数据样本集合中的异常点。其中，根据各数据样本与其他数据样本之间的空间距离和/或在针对数据样本集合的目标聚类分析结果中该数据样本所在的目标类簇，确定各数据样本的目标异常值。这样，有效的解决了仅仅依靠技术人员的主观判断检测出的异常点不够准确的问题，通过量化的数据样本集合中各数据样本的目标异常值，可以准确的确定出该数据样本集合中的异常点，从而可以使对该数据样本集合的后续数据分析结果更加可靠和有效。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据样本集合中异常点的检测方法和装置。

背景技术

在数据样本集合中，有些数据样本的特征与其他大部分数据样本的特征存在显著的差异，则这些数据样本即为该数据样本集合中的异常点。通常，在数据分析之前的预处理过程，需要从数据样本集合中检测出异常点。其中，异常点检测的准确性，对数据分析结果的准确性有着非常重要的影响。

目前，异常点的检测方式很大程度上要依靠技术人员的主观判断来实现。例如，通过数据可视化的方式对数据样本集合中的数据样本进行图像展示，技术人员依靠自己主观的经验和知识判断图像中各数据样本的特征差异情况，从而识别出数据样本集合中的异常点。但是，过于依靠技术人员的主观判断来确定各数据样本之间的特征差异，难以保证数据样本之间的特征差异被客观地、科学地评估，从而难以保证异常点检测的准确性。

发明内容

本发明所要解决的技术问题是，提供一种数据样本集合中异常点的检测方法和装置，以使得数据样本集合中各数据样本相对于其他数据样本的特征差异能够被客观地、科学地量化，从而使得数据样本集合中的异常点能够被准确地检测出来。

第一方面，本发明实施例提供了一种数据样本集合中异常点的检测方法，包括：

获取所述数据样本集合中的目标数据样本；

根据所述目标数据样本与其他数据样本之间的空间距离和/或在针对所述数据样本集合的目标聚类分析结果中所述目标数据样本所在的目标类簇，确定所述目标数据样本的目标异常值；其中，所述其他数据样本为所述数据样本集合中除所述目标数据样本之外的数据样本；

根据所述目标数据样本的目标异常值，确定所述目标数据样本是否为所述数据样本集合中的异常点。

可选地，所述根据所述目标数据样本与其他数据样本之间的空间距离和/或在针对所述数据样本集合的目标聚类分析结果中所述目标数据样本所在的目标类簇，确定所述目标数据样本的目标异常值，包括：

分别计算所述目标数据样本与各个所述其他数据样本之间的空间距离，并根据所述目标数据样本与各个所述其他数据样本之间的空间距离，计算所述目标数据样本的第一异常值；

对所述数据样本集合进行聚类分析，得到所述目标聚类分析结果，并根据所述目标聚类分析结果中所述目标数据样本所在的目标类簇，计算所述目标数据样本的第二异常值；

根据融合权重，将所述目标数据样本的第一异常值和第二异常值融合为所述目标数据样本的目标异常值。

可选地，所述根据所述目标数据样本与各个所述其他数据样本之间的空间距离，计算所述目标数据样本的第一异常值，包括：

以所述目标数据样本与各个所述其他数据样本之间的空间距离，确定所述目标数据样本与各个所述其他数据样本之间的叠加距离；

将所述目标数据样本与各个所述其他数据样本之间的叠加距离进行叠加，得到所述目标数据样本的第一异常值。

可选地，所述叠加距离具体为对所述空间距离进行非线性映射而得到的非线性距离。