[发明专利]一种基于聚类的离群点检测方法

权利要求书

1.一种基于聚类的离群点检测方法，其特征在于，包括以下步骤：

1)获取数据集并采用改进的k_means聚类算法计算出k个类簇；

2)对k个类簇进行划分，划分生成大类簇集BC和小类簇集SC；

依据每个类簇|C_i|(i＝1,2…k)包含的数据对象个数对k个类簇进行排序，将包 含的数据对象个数大于设定阈值的类簇划分入大类簇集BC，包含的数据对象 个数小于设定阈值的类簇划分入小类簇集SC；

3)基于大小类簇的方法分别计算大类簇集内大类簇和小类簇集内小类簇 中数据对象的离群因子，汇总形成离群因子序列；

4)基于离群因子序列确定离群数据。

2.根据权利要求1所述的一种基于聚类的离群点检测方法，其特征在于， 所述步骤1)获取数据集并采用改进的k_means聚类算法计算出k个类簇，具体 包括以下步骤：

1-1)获取数据集D；

数据集用D＝{x₁,x₂,…,x_i,…,x_n}，i＝1,2…n表示，其中，n为数据集D大小，x_i为数据集中的数据对象；

1-2)采用最大最小聚类方法，初始化m个聚类中心；

1-2-a)根据式(1)计算数据集D中任意数据对象x_i到样本中心的距离d_i， 形成距离样本；

di=Σj=1,i≠jn||xi-x‾||---(1)]]>

其中，x_i数据对象，i＝1,2…n，为样本中心、即为数据集中所有数据对 象样本的均值，样本中心的计算公式为

从距离样本中选取与样本中心相距的距离为下限值的第一样本x_a，作为第 一个初始聚类中心o₁；

1-2-b)当初始化m＝2时，从数据集中除第一样本x_a、选出与第一样本x_a相 距的距离为上限值的第二样本x_b作为第二个初始聚类中心o₂；

1-2-c)当初始化m＝3时，从数据集中除第一样本x_a和第二样本x_b、计算任 意数据对象x_i到第一样本x_a和第二样本x_b的距离分别为d_ia和d_ib，取d_i为d_ia和d_ib中的下限值、即d_i＝min(d_ia,d_ib)；

遍历数据集中除第一样本x_a和第二样本x_b外其余数据对象，形成除第一样 本x_a和第二样本x_b外的数据对象距离集d_i(i≤n,i≠a,i≠b)；

从d_i(i≤n,i≠a,i≠b)中选取上限值、即获得对应的数据对象x_c作为 第三个聚类中心o₃；

1-2-d)当初始化m≤k时，针对已经获得的k-1个初始聚类中心，计算未被 作为聚类中心的数据对象x_j到每一聚类中心的距离d_jp(p＝1,2…,k-1)，取d_j为 d_jp中的下限值、即d_j＝min(d_j1,d_j2,…,d_j(k-1))，其中，j＝1,2…n；

遍历数据集中未被作为聚类中心的数据对象，形成除k-1个初始聚类中心 外的数据对象距离集，并从中选取距离上限值对应的数据对象x_q作为第m个聚 类中心o_m；

1-3)采用改进的k_means聚类算法，计算出k个类簇；

1-3-1)选择聚类数搜索范围[k_min,k_max]，其中，k_min＝2，n为数据 集D大小；

1-3-2)Fork＝k_mintok_max，即循环执行如下操作，

1-3-2a)按照步骤1-2)的方法初始化k个初始聚类中心o_k；

1-3-2b)采用k_means聚类算法，对数据集中每个数据对象x_p，找出与数 据对象x_p相距的距离为下限值的聚类中心o_i，并将数据对象x_p分配到聚类中心 o_i所标明的类簇C_i中；

1-3-2c)计算聚类结果指标值SILHOUETTE；

1-3-3)当指标值为上限值时，其所对应的指标值k值即为所需选定的聚类 数，所对用的聚类则为所需选定的聚类；

其中，指标值为上限值、即

a(t)表示类簇C_j的数据对象t与类簇C_j中所有数据对象的平均距离，令 d(t,C_i)表示类簇C_j的数据对象t与另一类簇C_i中所有数据对象的平均距离，则 b(t)＝min{d(t,C_i)},i＝1,2,…,k且k≠j。