[发明专利]一种非监督异常数据检测算法

说明书

本发明提供了一种非监督异常数据检测算法，涉及技术领域，包括将输入的数据点与历史数据进行比较，获取历史记录中相关的条目，剔除不相关条目；通过若干静态统计算法分别对比较之后的数据点进行评分并输出分数；通过归一化算法集成上述各个静态统计算法的分数，并产生最终分数输出；将最终分数和阈值进行比较后，对数据进行分类标记。本发明采用多种算法组合的形式实现数据异常检测，结果通过多种算法进行独立评分最后共同决策，提高了异常检测的可靠性。

技术领域

本发明涉及一种基于上下文的非监督异常检测机器学习算法，尤其是一种联 合使用统计方法和分类归并方法由多种算法得到共识结果的非监督异常检测算 法，属于数据异常检测技术领域。

背景技术

越来越多的数据通过网络传输使得网络变得越来越拥挤，这种数据的增长可 能会导致异常，比如从一端发送的数据是否能在另一端及时、恰当地接收到。随 着现代数字通信领域的发展，异常检测方面的技术进步已经成为非常重要的一方 面，亟需找到更快、更有效的方法来解决异常检测问题。

随着互联网的发展，网络中的数据流量越来越大，针对这种现象，现已有一 种概率统计方法是使用自适应阈值检测方法来进行数据检测的，可以测量数值是 否超过阈值的方法，这个阈值是自适应的，由过去测量值的平均值计算得到，使 用一个变量来计算超过阈值的连续测量值，在连续超过一定数量的测量值后，会 触发警报。在分级的数据异常检测方面，有另一种概率型方法被称为“Tiresias”， 该方法将传入的数据集过滤并聚集在某些区域，其中某个区域意味着该区域中包 含的数据具有较高的异常概率。Tiresias的工作原理是抽象一组传入的数据点， 将其组织在网格中，然后将其划分为时间单位，一旦数据在时域中分离，异常的 识别就开始了，然后对数据进行分析，以发现季节性的模式。考虑到时间序列及 其季节性，该方案具有发现任何潜在异常所需的所有参数，并对所有数据集重复 此过程。用该方法进行异常检测时，如果有一个非常小的子集，可能是一个单点， 应该被认为是异常的，但由于它是在一个低异常的区域，那么它将被错误地归类 为正常。

但类似于上述提到的概率统计方法存在以下缺陷：这种方法可以得到它所访 问的数据中某个区域的异常概率，或者得出数据的分布图，但是无法检测数据是 否错误或分类错误。

异常检测通常分为三类：监督异常检测、半监督异常检测和非监督异常检测。 在监督异常检测中，将异常检测方案作为一组选定的参考值作为输入，该方案可 以立即知道任何与参考数据的值或模式不匹配的传入数据是异常的，但是监督异 常检测方案不适合分析具有多个或多个不同“正确性”级别的数据，除非专家的 迭代参与和参考数据的更新是可维护的。半监督异常检测可以看作是监督和非监 督异常检测方案的混合，因为它同时使用有标记数据和无标记数据，然而，半监 督技术的可信度依赖于模型，也就是依赖于算法中的学习机制。非监督异常检测 中，参考数据(如果有的话是)是不用给定标签的，它的工作是在给定的输入数 据中查找与其他输入数据中呈现的值或模式不匹配的值或模式。

现有很多非监督异常检测方法都是基于聚类方法的，但是所有单一的算法检 测的结果都是片面的。

基于此，本案由此产生。

发明内容

为了解决现有技术中存在的上述缺陷，本发明提供了一种非监督异常数据检 测算法，以提高检测的可靠性。

为了实现上述目的，本发明采取的技术方案如下：

一种非监督异常数据检测算法，包括以下：

(1)将输入的数据点与历史数据进行比较，获取历史记录中相关的条目， 剔除不相关条目；

(2)通过若干静态统计算法分别对比较之后的数据点进行评分并输出分数；

(3)通过归一化算法集成上述各个静态统计算法的分数，并产生最终分数 输出；