[发明专利]基于局部异常数据提升全局异常检测性能的方法及系统

说明书

本发明提出一种基于局部异常数据提升全局异常检测性能的方法及系统，涉及异常检测的技术领域，基于双向生成对抗网络异常检测模型学习正常训练图像数据的概率分布，同时输入模型的还有异常图像数据，即可收集的局部异常数据融入至正常训练图像数据的概率分布学习过程中，使得学习过程可明确感知到异常数据的存在，避免学习到的概率分布赋予异常数据较高的概率值，保证最终学习到的概率分布更准确地刻画正常数据真实分布，通过构建的异常感知目标函数对异常图像数据的感知能力约束其被分配较低的概率值，使得异常样本能够通过重构误差的判断，被显著地区分开来，提升检测效果及性能，且基于异常感知目标函数，能检测出训练集当中出现的新颖异常。

技术领域

本发明涉及异常检测的技术领域，更具体地，涉及一种基于局部异常数据提升全局异常检测性能的方法及系统。

背景技术

异常数据是与数据集中其他数据有十分明显不同的数据，将异常数据检测出来的方法称为异常检测或者离群点检测方法。随着数据量的不断增加，异常检测在包含大型数据集的应用领域中得到了越来越多的研究关注，如检测CT照片中的质量结构和其他医疗诊断问题、复杂工业系统中的故障和故障检测、结构损坏等，以及网络安全系统中的入侵，金融行业的欺诈行为，如信用卡或手机欺诈检测，视频监控，移动机器人，传感器网络，天文目录和文本挖掘等，而现代系统的复杂性使得在各部分关系之间仅可以获得有限的信息。因此，不可避免的导致大量可能异常的模式存在，并且，其中一些异常模式的先验可能不是已知的，导致传统的多分类方法不再适合。

目前，比较主流的异常检测方法建立在无监督或半监督场景下。其中，无监督场景仅使用含有正常数据的数据集进行训练，希望模型可以学习到正常数据的一些特征，然后将该模型应用在新出现的数据上，可以在一定程度上将正常数据和异常数据区分开来；在半监督场景下，除了正常数据集之外，少量标注的异常样本也被用来辅助模型得到更加准确的决策边界或概率分布，进而达到更好的异常检测效果。总体上，已有的异常检测算法主要包括：基于概率的方法、基于重构的方法、基于softmax概率方法以及将深度学习技术、一分类方法。基于概率方法是通过学习数据的分布形式，使用密度估计的概率方法来检测异常，假设训练集中的高密度区域表示正常数据，低密度区域表示异常数据，在模型训练好后，可以得到数据的整体分布，根据该分布给出的数据概率密度作为异常分数，用于检测异常数据，但很难检测出训练集当中是否有出现新的异常，不利于全局异常检测性能的提高；基于重构的方法一般建立在自编码器结构之上，其假设训练好的自编码器对于正常类别中的数据都可以很好地进行重构，对于异常类别的数据则产生较差地重构，从而通过重构误差将两类数据区分开来，达到异常检测的目的；一分类方法假设所有的正常点都属于同一类或者具有某些比较显著的共同特征，模型寻找合适的距离度量方式，将所有正常数据投影到一个球状超平面内，同时要求异常数据远离球状超平面，通过距离球心的距离将正常点和异常点区分开来，这种方法因此也需要寻找合适的距离度量专责，设计专门的一分类函数；基于softmax概率方法是一种基于异常数据作为分布外数据的假设，进行异常检测的方法，在训练过程中，模型选取softmax概率值中的最大值对应的类别作为数据分类的结果，在测试阶段，对于模型没见到过的异常数据，得到的最大softmax结果通常也会比较小，这样就可以将异常数据检测出来。

2021年6月9日，中国发明专利(公开号：CN113052203A)中公开了一种面向多种类数据的异常检测方法及装置，通过训练对抗学习网络，使对抗学习网络中的生成器拟合正常训练样本的分布以及学习正常训练样本的潜在模式，得到更新的对抗网络，根据训练过程中产生的重构误差构造更新的对抗学习网络中的异常评价函数，并将更新的对抗学习网络构建为异常检测模型，以利用异常检测模型对输入的检测数据进行异常检测，得到异常检测结果，该方案本质上属于无监督方式的异常检测方案，而是仅在无监督的生成网络后面增加了一个有监督分类器，来实现对异常数据的简单分类，实际上异常样本的种类繁多，无法将异常情况视作同一类别，若在训练集中出现新的异常，则在异常检测时，简单的通过有监督分类器进行异常分类，检测效果及性能将不能得到保证。

发明内容