[发明专利]一种基于聚类的离群点检测方法

说明书

技术领域

本发明涉及一种离群点检测方法，特别是涉及一种基于聚类的离群点检测 方法，属于离群数据挖掘技术领域。

背景技术

离群数据挖掘技术是目前数据挖掘领域的研究热点之一，聚类方法在数据 挖掘领域具有较好的研究基础。

目前，已有的离群数据挖掘主要基于距离或最近邻概念进行的离群挖掘。 随着互联网和移动互联网的广泛普及，大量的数据在金融和经济分析、电子通 信、现代物流等不同领域广泛应用，数据本身的复杂性，难以准确判断数据是 否异常，导致难以给出确切的离群数据。

发明内容

本发明的主要目的在于，克服现有技术中的不足，提供一种基于聚类的离 群点检测方法，可有效地从大量数据集中发现隐藏在其中的离群数据，确定每 个数据对象的离群度，检测准确高效，可广泛应用于金融和经济分析、电子通 信、现代物流等领域。

为了达到上述目的，本发明所采用的技术方案是：

一种基于聚类的离群点检测方法，包括以下步骤：

1)获取数据集并采用改进的k_means聚类算法计算出k个类簇；

2)对k个类簇进行划分，划分生成大类簇集BC和小类簇集SC；

依据每个类簇|C_i|(i＝1,2…k)包含的数据对象个数对k个类簇进行排序，将包 含的数据对象个数大于设定阈值的类簇划分入大类簇集BC，包含的数据对象 个数小于设定阈值的类簇划分入小类簇集SC；

3)基于大小类簇的方法分别计算大类簇集内大类簇和小类簇集内小类簇 中数据对象的离群因子，汇总形成离群因子序列；

4)基于离群因子序列确定离群数据。

本发明进一步设置为，所述步骤1)获取数据集并采用改进的k_means聚 类算法计算出k个类簇，具体包括以下步骤：

1-1)获取数据集D；

数据集用D＝{x₁,x₂,…,x_i,…,x_n}，i＝1,2…n表示，其中，n为数据集D大小，x_i为数据集中的数据对象；

1-2)采用最大最小聚类方法，初始化m个聚类中心；

1-2-a)根据式(1)计算数据集D中任意数据对象x_i到样本中心的距离d_i， 形成距离样本；

di=Σj=1,i≠jn||xi-x‾||---(1)]]>

其中，x_i数据对象，i＝1,2…n，为样本中心、即为数据集中所有数据对象样本的均值，样本中心的计算公式为

从距离样本中选取与样本中心相距的距离为下限值的第一样本x_a，作为第 一个初始聚类中心o₁；

1-2-b)当初始化m＝2时，从数据集中除第一样本x_a、选出与第一样本x_a相 距的距离为上限值的第二样本x_b作为第二个初始聚类中心o₂；