[发明专利]一种独立于数据类型的无监督异常检测方法

说明书

本发明提供了一种独立于数据类型的无监督异常检测方法，涉及传感器网络，可靠系统等的异常检测领域，包括：(1)对给定的任意类型的数据进行预处理，构建训练数据集；(2)构建自编码器网络，对数据进行维度压缩和特征提取；(3)构建正常数据提取层，对数据进行进一步正常特征提取；(4)用概率密度函数高斯混合模型对正常特征的数据分布进行拟合；(5)对无监督异常检测网络进行训练；(6)使用训练完成的神经网络对测试数据集进行预测，当测试数据的异常概率大于指定阈值时，将该数据视为异常。克服异常检测中异常标签难以获得和针对特定数据类型设计的模型无法应用于其他数据类型的挑战，提高性能的同时又保证了数据类型可扩展性。

技术领域

本发明涉及异常检测领域，特别涉及工业生产中传感器网络，可靠系统等的一种独立于数据类型的无监督异常检测方法。

背景技术

异常检测是保证系统运行可靠性和安全性的基础技术之一。在大数据时代，各种数据无时无刻不在被收集。收集的数据通常反映运行系统的质量。当异常发生时，系统中可能会出现意外情况。如何检测异常成为一个迫切需要解决的问题。异常检测的目的是监控这些系统，发现异常，以便操作人员及时做出反应。

对于异常检测，虽然有监督异常检测和半监督异常检测在精度上取得比较好的成果，但在现实数据中，异常标签的获得通常是耗费很大的人力物力的，所以采用无监督的异常检测方法更为现实。而如今的无监督异常检测方法的假设前提是，正常数据的数据量是远远大于异常数据的，所以在训练中不区分正常数据和异常数据是可行的。但当训练数据中的异常数据占据了一定数据量后，这些无监督异常检测方法的性能就会大大下降，因此，如何在训练中保证正常数据和异常数据的分离是必不可少的。此外，现有的方法都是针对一到两种具体的数据类型进行异常检测，而不能适用于其他类型的数据，而为一种新的数据类型设计一个新的方法的成本是巨大的。因此，异常检测所面临的挑战包括，异常标签通常是很难获得的，并且针对特定数据类型设计的模型无法应用于其他数据类型。一方面，异常标签难以获得，例如文献(Zong,B.,Song,Q.,Min,M.R.,Cheng,W.,Lumezanu,C.,Cho,D.,Chen,H.:Deep autoencoding gaussian mixture model for unsupervised anomalydetection.I)(Zhai,S.,Cheng,Y.,Lu,W.,Zhang,Z.:Deep structured energy basedmodels for anomaly detection.arXiv preprint arXiv:1605.07717(2016).)的性能在无监督的条件下表现良好，但当训练数据中的异常数据逐渐增加时性能会降低。另一方面，大多数为特定数据类型而设计的模型在处理其他数据类型的数据时表现较差，例如文献(Yang,B.,Fu,X.,Sidiropoulos,N.D.,Hong,M.:Towards k-means-friendly spaces:Simultaneous deep learning and clustering.In:international conference onmachine learning,pp.3861-3870.PMLR(2017).)被证明是有效的，但仅适用于静态数据类型。有些处理图像数据表现出良好的性能，但它们在其他数据类型上的结果一般。现有的为时序数据设计的模型也面临着同样的难题。

发明内容

本发明的目的在于针对异常检测所面临的异常标签难以获得和针对特定数据类型设计的模型无法应用于其他数据类型的挑战，如何在训练中分离正常数据和异常数据，并且在不改变核心步骤的基础下适用多种数据类型。

本发明至少通过如下技术方案之一实现。

一种独立于数据类型的无监督异常检测方法，包括以下步骤：

(1)对给定的任意类型的数据进行预处理，构建训练数据集；

(2)构建自编码器网络，对数据进行维度压缩和特征提取；

(3)构建正常数据提取层，对数据进行进一步正常特征提取；