[发明专利]一种基于不确定数据集的离群检测方法

说明书

技术领域

本发明涉及离群数据挖掘技术领域，特别涉及一种基于不确定数据集的离群检测方法。

背景技术

离群数据挖掘技术是目前数据挖掘领域的研究热点之一，目前已有的离群数据挖掘主要基于距离或最近邻概念进行的确定离群挖掘，随着互联网和移动互联网的广泛普及，大量的不确定数据在金融和经济分析、电子通信、现代物流等不同领域广泛应用，数据本身的不确定性，难以准确判断数据是否异常，导致难以给出确切的离群数据。在不确定的数据集，即使一个数据对象本身并不像是一个离群点，但如果它的不确定程度非常高，这个数据也很可能会被怀疑是异常的。因此基于不确定数据集的离群检测，需要确定每个数据的不确定程度即离群度。

发明内容

本发明为了解决现有技术中存在的上述缺陷和不足，提供了一种基于不确定数据集的离群检测方法，该方法可以有效地从不确定数据集中发现隐藏在其中的离群数据，确定每个数据的离群度，可以广泛应用于金融和经济分析、电子通信、现代物流等领域。

为解决上述技术问题，本发明提供一种基于不确定数据集的离群检测方法，包括以下步骤：。

步骤一，)计算不确定数据集D中每个数据点o的k距离和k距离邻域；

步骤二，计算k距离邻域中数据点q成为数据点o的近邻的概率；

步骤三，计算k距离邻域中每个数据点q到数据点o的可达距离和概率密度函数；

步骤四，计算每个数据点o的可达密度；

步骤五，计算每个数据点o的离群因子，确定离群点。

其中，所述步骤一包括以下步骤：

1-1)形式化数据集；

不确定数据集D表示为D＝{o₁,o₂,...o_i...,o_n}，n表示不确定数据集D大小，其中o_i表示数据集中的一个数据点，每个数据点有d个维度，即d个属性值每个属性都关联一个概率密度函数f_i^j(·)和累加分布函数F_i^j(·)，则数据点o_i表示为：

1-2)确定数据点o的k距离k_dist_ε(o)；

k距离表示不确定数据集D中，对应每个数据点o的最小距离值，在k距离范围内存在至少k个最近邻居的概率不小于ε，记为k_dist_ε(o)，其中k为正整数，ε∈(0,1]；

1-3)定义数据点o的k距离邻域N_{k_dist_ε}(o)；

k距离邻域表示在不确定数据集D中，与数据点o的最小距离小于k_dist_ε(o)的点的集合，表示为N_{k_dist_ε}(o)：

N_{k_dist_ε}(o)＝{q|min_dist(q，o)＜k_dist_ε(o)}，

其中min_dist(q,o)表示k距离邻域中数据点q的分布范围与数据点o的分布范围的最小间隔；

1-4)采用迭代算法计算k距离k_dist_ε(o)：

令p_o(k_d)表示数据点o在距离k_d∈(0,R_max]范围内至少有k个邻域的概率，当k_d＝k_dist_ε时，p_o(k_d)＝ε；R_max表示不确定数据集中两个数据点之间的最大距离；

a)初始化：

不确定数据集中两个数据点o之间的最小距离为0，用low表示，不确定数据集中两个数据点o之间的最大距离为R_max，用up表示，因此，确定不确定数据集中两个数据点之间的距离k_d取值范围为(low,up]，取中间值作为k_d的初始值，即k_d＝(low+up)/2，并设定k距离邻域N_{k_dist_ε}(o)初始值为空集Φ，具体表示如下：

N_{k_dist_ε}(o)＝Φ；low＝0；up＝R_max；k_d＝(low+up)/2

b)计算k距离k_dist_ε(o)：

当|p_o(k_d)-ε|≥δ时，若p_o(k_d)＜ε，则low＝k_d，否则up＝k_d；令k_d＝(low+up)/2，直到|p_o(k_d)-ε|＜δ成立，可以得出k_dist_ε(o)＝k_d；