[发明专利]基于最大相关熵深度神经网络单分类器异常检测方法

说明书

本发明公开了一种基于最大相关熵深度神经网络单分类器异常检测方法。本发明实现如下：输入只包含正常类的训练数据集；输入样本数据经过多层ELM‑AE自编码器编码和解码处理，得到重构的特征值；将重构的特征值输入最后一层ELM，基于最大相关熵准则的目标函数求得输出权值，结合定点迭代更新的梯度推导被用于输出权重的优化，并得到实际输出；然后，得到实际输出与输出标签的距离误差向量，并从大到小排列，根据设置的阈值参数，确定分隔正常类和异常类的阈值；最后，将测试数据输入到该基于最大相关熵的深层神经网络单分类器模型中，测试该模型的识别效果。本发明有较强鲁棒性。结合超限学习机保留其快速的学习性能和良好的泛化性能。

技术领域

本发明属于机器学习和数据挖掘领域，涉及一种基于最大相关熵深度神经网络单分类器异常检测方法。

背景技术

异常检测是数据挖掘中的重要组成部分，异常数据是指在数据集中偏离大部分数据或者与数据集中其他大部分数据不服从相同统计模型的小部分数据。而异常检测的目的是识别检测出异常数据。异常检测在信用卡欺诈、网络入侵、医疗数据智能监控、故障诊断、场景识别等众多领域中均有重要应用。

单分类器是异常检测算法中最具有代表性的方法之一，其特点是只专注于目标样本建模；相比于传统多分类算法要求有足够丰富的多类样本数据，单分类器更加实用且更具有可行性。。当前流行且具有代表性的单分类器有单分类支持向量机(OC-SVM)，朴素帕森密度估计(NaiveParzendensityestimation)，自动编码器(Auto-Encoder)，单分类超限学习机(OC-ELM)以及多层单分类超限学习机(ML-OCELM)。

然而，现有的单分类算法的优化通常建立在最小化均方误差(MSE)目标损失函数的基础上，其已被证明无法有效处理数据中存在非高斯噪声和异常值的优化问题。因此，如何找到一种鲁棒性能更好的算法，使它能更好的处理一般数据集中非高斯噪声的影响成为了一个核心问题。

为解决这个问题，本发明提出了一种基于最大相关熵准则的深度神经网络超限学习机单分类器实现异常检测。

相关熵的概念最早在2006年被Santamaria等人提出，其想法最初是为解决信息论学习中不能在同一测量函数中处理随机序列时间结构及其统计分布的问题，提出的一种广义相关函数，进一步地，Liu等又将该广义相关函数推广到两个随机变量的情形，从而形成了相关熵的概念，相关熵作为一个非线性鲁棒算法，已被成功应用于信号处理和机器学习等多个领域，比如鲁棒回归分析、滤波、降维、分类和人脸识别等。近年来研究表明最大相关熵准则可以有效抑制非高斯噪声与异常值，其基本原理如下

设两随机变量为X,Y，它们的相关熵定义为：

V_σ(X,Y)＝E[k_σ(X-Y)]＝∫K(x,y)dF_XY(x,y)

其中E表示期望算子，k_σ(·)表示满足Mercer条件的正定核函数，F_XY(x,y)表示两个随机变量的联合分布函数。实际问题中该联合概率密度函数往往是未知的，此时可以利用有限样本数据对来获得相关熵的一个估计式：

一般情况下上式中的核函数采用高斯核，则上式可写成：

其中σ＞0为核宽。当X,Y间的相似度越高时，上式的值就越大，最大化上式即为最大相关熵准则(Maximum Correntropy Criterion,MCC)。

相比于其他相似性度量准则，比如最小均方准则，相关熵准则有如下优点：

(1)该准则包含所有偶数阶矩并可用于非线性和非高斯信号处理；

(2)核函数能够有效控制高阶矩加权；