[发明专利]一种基于最大相关熵准则的多维信号特征融合方法

说明书

本发明公开了一种基于最大相关熵准则的多维信号特征融合方法。首先，针对最小均方误差的不足，引入核函数理论，介绍了最大相关熵准则；然后，提出最大相关熵准则替换最小均方误差，作为ELM‑AE的损失函数；其次，详细介绍了公式的推导过程，堆叠多个ELM‑AE构成一个基于最大相关熵准则的深层神经网络；再次，针对某轴流压气机发生旋转失速的机械振动信号，提取信号的多维时域统计特征指标和非线性特征熵；最后，利用深度神经网络对提取的多维信号特征做特征融合，通过特征可视化分析，进一步验证了所提方法在特征融合方面的有效性。

技术领域

本发明属于机器学习和数据挖掘领域，具体涉及一种引入最大相 关熵准则作为深度神经网络算法的损失函数实现多维信号的特征融 合。

背景技术

通常多维数据集中存在大量不相关和冗余的信息，增加了数据处 理、知识挖掘和模式识别的难度。特征融合作为解决这一问题的关键 方法，将原有的多维数据利用深度神经网络进行特征融合，滤除噪声 和冗余信息，保留具有代表性的敏感特征，是较为常用的策略。避免 了传统人工特征提取与选择所带来的繁琐性和不确定性，同时也可以 提高分类器的准确率。最大相关熵作为一个局部相似性度量准则，在 处理非高斯噪声和距离较远的离群点方面，具有较好的鲁棒性。目前 已被成功应用于信号的滤波、降维和机器学习等多个领域。

自编码器是一种具有三层的无监督神经网络，第一层是输入层， 中间层是隐含层，最后一层是输出层。如图1所示。可以在没有标签 向量的情况下学习数据的内在特征，属于无监督学习。不同于传统的 单隐层神经网络，自编码器的学习过程包括编码和解码两个阶段。数 据通过自编码器的输入层到隐含层，将多维空间的输入数据映射到低 维空间进行编码，最后由隐含层到输出层重新构造输入数据进行解码。 隐含层的作用是在编码和解码过程中尽可能确保输出的数据和输入 的数据一致，用尽量少的维度提取输入数据和输出数据主要特征。通 过最小化重构误差，使目标输出值接近于输入值。最小化均方误差(MSE)被广泛用于自编码器的损失函数，在没有复杂噪声干扰的情况 下，自编码器通常有很好的性能表现。但是，在实际应用中，测量数 据受工作条件和环境变化的影响，掺杂了大量噪声的异常数据，使得 传统自编码器的性能下降。此外，传统自编码器采用梯度下降法训练 网络参数，使损失函数最小化，有监督情况下，以数据的标签作为监 督信号计算网络误差。在梯度下降法完成各层权重和偏置的反向微调 过程中，不仅容易陷入局部最优解，而且增加了网络的训练时间。

超限学习机(Extreme LearningMachine，ELM)算法是一种简单易用、 有效的单隐层前馈神经网络学习算法，如图2所示。传统的神经网络 学习算法(如BP算法)需要人为设置大量的网络训练参数，采用梯 度下降法求解过程中容易产生局部最优解。而ELM在确定网络参数的 过程中，只需要设置网络的隐含层节点个数，在算法执行过程中不需 要调整网络的输入权值以及隐元的偏置，并且产生唯一的最优解。 ELM的输出为其中：β_i是隐层节点和输 出节点之间的权重，G(a_i,b_i,x)是隐含层输出函数， h(x)＝[G(a₁,b₁,x),...,G(a_L,b_L,x)]^T是隐含层相对于输入X的输出向量。ELM 的关键在于最小化训练误差和输出权重范数||β||。因此， 通过设置ELM的输出等于输入，即可得到基于超限学习机的自编码器 (ELM-AE)，如图3所示。相较于基于反向传播的传统自编码器，基于 超限学习机的自编码器采用最小二乘法且只进行一步反向计算得到 更新后的权重，具有更快的训练速度和更少的人为干预。

发明内容

本发明的目的是针对现有最小均方误差作为传统自编码器的损 失函数存在的不足，提出一种基于最大相关熵准则的深度神经网络算 法，是一种更高效的特征融合方法。