[发明专利]一种基于不确定数据集的离群检测方法

权利要求书

1.一种基于不确定数据集的离群检测方法，其特征在于，包括以下步骤：。

步骤一，)计算不确定数据集D中每个数据点o的k距离和k距离邻域；

步骤二，计算k距离邻域中数据点q成为数据点o的近邻的概率；

步骤三，计算k距离邻域中每个数据点q到数据点o的可达距离和概率密度函数；

步骤四，计算每个数据点o的可达密度；

步骤五，计算每个数据点o的离群因子，确定离群点。

2.根据权利要求1所述的基于不确定数据集的离群检测方法，其特征在于，所述步骤一包括以下步骤：

1-1)形式化数据集；

不确定数据集D表示为D＝{o₁,o₂,...o_i...,o_n}，n表示不确定数据集D大小，其中o_i表示数据集中的一个数据点，每个数据点有d个维度，即d个属性值每个属性都关联一个概率密度函数和累加分布函数则数据点o_i表示为：

1-2)确定数据点o的k距离k_dist_ε(o)；

k距离表示不确定数据集D中，对应每个数据点o的最小距离值，在k距离范围内存在至少k个最近邻域的概率不小于ε，记为k_dist_ε(o)，其中k为正整数，ε∈(0,1]；

1-3)定义数据点o的k距离邻域N_{k_dist_ε}(o)；

k距离邻域表示在不确定数据集D中，与数据点o的最小距离小于k_dist_ε(o)的点的集合，表示为N_{k_dist_ε}(o)：

N_{k_dist_ε}(o)＝{q|min_dist(q,o)＜k_dist_ε(o)}，

其中min_dist(q,o)表示k距离邻域中数据点q的分布范围与数据点o的分布范围的最小间隔；

1-4)采用迭代算法计算k距离k_dist_ε(o)：

令p_o(k_d)表示数据点o在距离k_d∈(0,R_max]范围内至少有k个邻域的概率，当k_d＝k_dist_ε时，p_o(k_d)＝ε；R_max表示不确定数据集中两个数据点之间的最大距离；

a)初始化：

不确定数据集中两个数据点o之间的最小距离为0，用low表示，不确定数据集中两个数据点o之间的最大距离为R_max，用up表示，因此，确定不确定数据集中两个数据点之间的距离k_d取值范围为(low,up]，取中间值作为k_d的初始值，即k_d＝(low+up)/2，并设定k距离邻域N_{k_dist_ε}(o)初始值为空集Φ，具体表示如下：

N_{k_dist_ε}(o)＝Φ；low＝0；up＝R_max；k_d＝(low+up)/2

b)计算k距离k_dist_ε(o)：

当|p_o(k_d)-ε|≥δ时，若p_o(k_d)＜ε，则low＝k_d，否则up＝k_d；令k_d＝(low+up)/2，直到|p_o(k_d)-ε|＜δ成立，可以得出k_dist_ε(o)＝k_d；

c)计算k距离邻域N_{k_dist_ε}(o)：

令

对于不确定数据集中除数据点o外任意数据点p，若满足条件max_dist(p,o)＜k_dist_ε(o)，则N_{k_dist_ε}(o)＝N_{k_dist_ε}(o)∪{p}，即表示把p插入到k距离邻域N_{k_dist_ε}(o)，其中，max_dist(p,o)表示k距离邻域中数据点p的分布范围与数据点o的分布范围的最大间隔。