[发明专利]一种基于迁移学习的半监督异常检测方法

说明书

一种基于迁移学习的半监督异常检测方法,构建一个卷积神经网络进行异常检测，卷积神经网络包括网络和网络两个网络模块，以及用于特征融合的全连接层，分别用异常检测数据集和一个不相关的有标签参考数据集预训练网络和网络再对预训练得到的网络和网络进行联合训练，由训练得到的卷积神经网络进行异常检测。本发明通过迁移学习的方法，以一个参考数据集进行辅助，实现半监督异常检测，网络模型能充分利用数据中的标注信息，增加了对正常样本和异常样本的区分能力，同时增强了模型对有污染数据的鲁棒性。使用本发明方法训练的模型，AUC指标从72.2％提升到了75.9％，有效提升了检测的准确性。

技术领域

本发明属于机器学习及计算机图像处理技术领域，涉及迁移学习，为一种基于迁移学习的半监督异常检测方法。

背景技术

异常检测是一个经典的机器学习任务，给定一个由正常样本和异常样本混合的训练集，其中正常样本占大多数并且所有样本的标注信息都是不可知的。异常检测的目标是学习到一个判别模型，可以很好区分开测试集中的正常样本和异常样本。因为该任务缺乏训练集的标注信息，通常会将其定义为无监督学习任务。在真实的应用场景中，我们可以获取到少量“可信”(即有标注)的正常或异常的样本。因此，一个更加通用的的数据场景由如下构成：(1)大量的无标注样本，其中正常样本占大多数；(2)少量的有标注样本。定义在如上数据场景的异常检测被称为半监督异常检测。

在异常检测任务中，由于训练集中异常类别样本的缺失或数量过少，一般认定其仅有一个类别，即正常类。通常的学习目标是为正常类学习到一个紧致的特征表示，进而使得正常样本能够经模型映射后落在一个相近的区域，而异常样本经映射后会远离该区域。目标是在经深度神经网络映射后的特征空间中寻找到一个体积最小化的超球，该超球能够包含所有的正常样本，并使异常样本落在球面之外。

迁移学习是一种机器学习方法，是把一个领域的知识，迁移到另外一个领域，即由源领域迁移到目标领域，使得目标领域能够取得更好的学习效果。在异常检测问题中，由于样本量少，也缺少足够的类别，往往很难学习到一个描述能力较强的模型。此时，迁移学习就是一个可行的解决方案。之前的异常检测方法中很少利用到标签信息，现有的利用标签信息进行异常检测的方法往往基于特定领域的数据设计，缺少通用性。本发明提出了一种半监督异常检测的算法，将迁移学习引入到异常检测问题中，在异常检测目标数据集以外，利用其他有标注数据集的信息进行训练，由此增强了神经网络的表示能力，同时享受来自于无监督预训练带来的特征紧致性的优势。

发明内容

本发明要解决的问题是：异常检测主要问题在于训练集中绝大多数为正常样本，缺少异常数据。

本发明的技术方案为：一种基于迁移学习的半监督异常检测方法，建一个基于卷积神经网络的检测网络进行异常检测，检测网络包括网络和网络两个网络模块和全连接层

首先分别预训练两个网络模块：在异常检测数据集上以最小化输入样本和重构结果的均方误差预训练一个自编码器，包括编码器和解码器两部分，以编码器的参数作为网络的初始化参数；同时，对网络连接一个全连接层在一个与异常检测数据集无关的有标签参考数据集上使用交叉熵为损失函数进行预训练，得到初始化的网络

然后进行联合训练，将网络的浅层参数冻结，连接一个全连接层全连接层的输出与网络的输出拼接后，经过全连接层输出融合特征，构成检测网络；对检测网络在异常检测数据集上进行联合训练，优化检测网络参数，目标是通过优化可学习参数包括网络和网络未冻结的部分以及所有全连接层，最小化在输出特征空间中的一个包含所有正常样本的超球的体积，该超球以一个可学习的点为球心，检测网络将所有正常样本映射到特征空间中的一个超球内，用符号d表示l₂度量下输入样本经网络映射后，在特征空间中的映射特征表示和超球中心c的距离，训练采用一个和谐损失函数定义如下：