[发明专利]基于最大相关熵深度神经网络单分类器异常检测方法

权利要求书

1.基于最大相关熵深度神经网络单分类器异常检测方法，其特征在于包括如下步骤：

步骤1、输入只包含正常类的训练样本集，进行特征归一化；

步骤2、提取归一化后的训练样本的特征，即将训练样本经过多层ELM-AE自编码器编码和解码处理，得到重构的特征值；

步骤3、计算分类学习的输出权重β，将重构的特征值输入最后一层ELM，基于最大相关熵准则的目标函数求得输出权值β，结合定点迭代更新的梯度推导优化网络输出权重，并得到实际输出；

步骤4、计算单分类器阈值θ，计算实际输出与样本标签的误差距离，并将得到的误差距离进行从大到小排序，根据设置的阈值参数，确定分隔正常类和异常类的阈值；

步骤5、输入测试数据进行测试，将测试数据输入到基于最大相关熵的深层神经网络单分类器模型中，测试该模型的识别效果；

其中，测试数据包含正常类和异常类；

步骤1具体实现如下：

1-1、给训练样本进行特征归一化，归一化后的训练样本其中表示第i个样本，表示其为目标样本，训练集只包含目标样本，N为训练样本数量；

步骤2具体实现如下：

2-1、归一化后的训练样本即ELM-AE的输入和输出矩阵，其中：由于ELM-AE自编码器能够通过简单地习将输入复制到输出，所以输入和输出均为X_A；

2-2、随机生成隐层输入权值矩阵和正交化偏置向量矩阵将输入的训练样本X_A映射到相同或者不同的数据维度空间：

h_k＝g(w_kx_α+b_k)，(w_k)^Tw_k＝I,(b_k)^Tb_k＝I，

其中：g()表示激活函数，k＝1,2,...,K，为ELM-AE个数；I是单位向量；

2-3、求解ELM-AE的输出权值矩阵

设ELM-AE个数为K，输入输出层神经元数量为d，隐含层神经元数量为以及每个隐含层的正则化参数若或即对于稀疏及压缩的特征表达，若即对于等维度的特征映射，

其中：表示ELM-AE的第k个隐含层输出矩阵。

2.根据权利要求1所述的基于最大相关熵深度神经网络单分类器异常检测方法，其特征在于步骤3具体实现如下：

3-1、得到初始化输出权重

经过K-1层ELM-AE得到输出矩阵Ⅰ，表示为X′＝[x′₁,x′₂,...,x′_N]，采用最大相关熵准则取代均方误差来优化目标函数；给定高斯核宽度σ，最大容忍误差ε和最大迭代次数J，并初始化输出权重β⁰＝0，初始误差并将初始误差转化为对角矩阵

3-2、优化输出权重

结合定点迭代更新的梯度推导优化网络输出权重；计算输出权重为其中C是常数，计算误差为转化为对角矩阵为

3-3、计算成本函数

计算成本函数J(β^j)和J(β^j-1),j＝1,...,J，当|J(β^j)-J(β^j-1)|≥ε或者j＜J时，则重复步骤3-2进行迭代更新，直到满足条件得到最终的输出权值β；

所述的成本函数为：

隐藏层输出节点矩阵为且

3-4、得到实际输出

3.根据权利要求2所述的基于最大相关熵深度神经网络单分类器异常检测方法，其特征在于步骤4具体实现如下：

4-1、计算实际输出Y_α与样本标签T的误差距离：

其中，h^K(x′_i)为H^K第i个样本即第i列数据；

4-2、将得到的误差距离进行从大到小排序,得到其中和分别表示最大和最小的误差距离；

4-3、设置阈值参数μ，得到阈值为θ＝ε_α[floor(μ·N)]；

其中：floor为取不大于μ·N的整数。

4.根据权利要求3所述的基于最大相关熵深度神经网络单分类器异常检测方法，其特征在于步骤5具体实现如下：

5-1、给定测试样本其中表示第i个样本，表示其为目标样本，表示其为非目标样本，P为总共的测试样本数量；

5-2、输入到多层ELM-AE得到每层输出令最后一层ELM-AE输出为Y′＝[y′₁,y′₂,...,y′_N]；

5-3、输入到ELM分类层得到Y_β＝β·Y′，计算实际输出与样本标签T的误差距离

5-4、将得到的误差距离与单分类器阈值θ比较