[发明专利]一种非监督异常数据检测算法

权利要求书

1.一种非监督异常数据检测算法，包括以下：

(1)将输入的数据点与历史数据进行比较，获取历史记录中相关的条目，剔除不相关条目；

(2)通过若干静态统计算法分别对比较之后的数据点进行评分并输出分数；

(3)通过归一化算法集成上述各个静态统计算法的分数，并产生最终分数输出；

(4)将最终分数和阈值进行比较后，对数据进行分类标记。

2.如权利要求1所述的一种非监督异常数据检测算法，其特征在于：所述步骤(2)中，所述静态算法采用泊松算法、桶聚类算法、均值算法和中值算法。

3.如权利要求2所述的一种非监督异常数据检测算法，其特征在于：所述泊松算法评分是将数据建模为带有X个箱子的直方图，其中X是被建模的数据集中所有条目的最大值，具体步骤如下：

第一步：通过概率质量函数计算检测值的可能性概率，计算方法如公式1：

公式1：

当前检测值表示为x，λ为集合的平均值；

第二步：计算引用概率Pref，计算方法如公式2：

公式2：

第三步：计算分数，去除Pref和P(x，λ)的比值为1的值，对相似的值给出较低的分数，而对不相似的值给出较高的分数，评分方法如公式3：

公式3：

其中S代表分数值，P代表第一步中的可能性概率。

4.如权利要求2所述的一种非监督异常数据检测算法，其特征在于：所述桶聚类算法评分步骤中，遍历所有历史数据，并创建十个同样宽的桶，每个桶都被位于a和b之间的每个值“填充”，通过计算输入数据点所在桶的高度与所有高度之和的比较，建立0到1之间的评分值，该评分值表示与传入数据点的集群匹配的历史点的数量。

5.如权利要求2所述的一种非监督异常数据检测算法，其特征在于：所述均值算法评分包括以下步骤：

第一步：计算标准差，计算方法如公式4：

公式4：

其中N是集合中元素的个数，y_i表示分布集合中每个单独的值，μ是匹配集中的均值；

第二步：计算分数，计算方法如公式5：

公式5：

其中x是被检测的值，μ是匹配集中的均值，σ是第一步中计算出的标准差，c是一个常数。

6.如权利要求2所述的一种非监督异常数据检测算法，其特征在于：所述中值算法评分包括以下步骤：

第一步：计算绝对中位差，计算方法如公式6：

公式6：MAD＝median(|Y_i-median(Y)|)

第二步：计算分数，计算方法如公式7：

公式7：

其中，m是匹配集的中值，Y代表匹配集中所有的值，y_i表示集合Y中的单独的值，c表示调节中值算法灵敏度的参数。

7.如权利要求1所述的一种非监督异常数据检测算法，其特征在于：所述步骤(3)中具体包括以下步骤：

第一步：分别为各个静态统计算法创建分数，将每个单独算法的分数a_i作为每个级别和每个度量的输入，以及每个分布集中元素个数N作为输入，并通过公式8为每一级L和各个算法分数的度量M创建分数；

公式8：

第二步：计算一致意见的最终分数，将结果f_i放入集合F中，计算公式如公式9：

公式9：

其中表示F中所有值的平均值，V是F的方差。

8.如权利要求1所述的一种非监督异常数据检测算法，其特征在于：所述步骤(4)中，用t表示阈值，0≤t≤1，S(x)表示最终分数，S(x)≥t，该检测值为异常，标记为正结果，如果该检测是正确的则标记为真正，如果发现实际情况下应该是负结果则标记为假正；S(x)<t时，该检测值为正常，标记为负结果，如果该检测是正确的则标记为真负，如果发现在实际情况下应该是正结果则标记为假负。

9.如权利要求1所述的一种非监督异常数据检测算法，其特征在于：所述步骤(4)中，将没有标记的数据添加到历史数据中。