[发明专利]一种基于改进Levenberg-Marquardt的径向基神经网络优化方法

说明书

一种基于改进Levenberg‑Marquardt的径向基神经网络优化方法，属于参数优化技术领域。主要包括三个部分，即“典型样本选取”，“改进Levenberg‑Marquardt的参数优化”和“多步更新规则”。“典型样本选取”步骤：典型样本可以用来近似样本整体，利用样本之间的最小距离来表示多样性构建典型样本集，可以在网络稳定性和快速响应之间取得较好平衡。“改进的LM参数优化”步骤：利用模型参数组合重新定义学习率，消除了奇异点，保证了模型的有效稳定。“多步更新规则”步骤：通过计算典型样本集中的Hessian矩阵和梯度，使用多步更新规则以减少单个样本引入的样本误差，加速了网络收敛。

技术领域

本发明属于参数优化技术领域，涉及基于数据驱动的流程工业过程参数优化技术，特别是涉及一种保证网络模型稳定性的方法。

背景技术

过去的几十年里，人工神经网络(artificial neural network，ANN) 在求解非线性和复杂系统方面得到了广泛发展。在不同类型的神经网络中，径向基神经网络(radialbasis function neural network，RBFNN) 以简单的结构和强大的逼近能力，在非线性建模、智能控制、模式识别等领域得到了广泛应用。然而，RBFNN的构建还存在一些困难，其中一个重要问题是神经网络中参数的确定(中心、宽度和连接权值)。

为了调整RBFNN的网络参数，众多学者提出了一系列算法。其中，常用算法有梯度下降法、反向传播(back propagation，BP)法和二阶算法。BP算法是最经典和最著名的方法之一，然而，BP算法训练时间过长，且极易陷入局部极小值，从而限制了它的广泛应用。而二阶算法因为收敛速度快，可以处理更复杂的问题，同时保持紧凑的网络规模而备受众多学者的青睐。其中，Levenberg-Marquardt(LM)算法是训练神经网络最著名的二阶算法之一，此方法是介于牛顿法与梯度下降法之间的一种非线性优化方法。LM方法是基于Hessian矩阵来进行人工神经网络学习，其代价函数关于权值的二阶偏导数组成的矩阵称为拟Hessian矩阵。此外，LM算法对参数化问题不敏感，能有效处理冗余参数问题，使代价函数陷入局部极小值的机会大大减小，故而LM算法在计算机视觉等领域得到广泛应用。

虽然LM算法在建模、优化、控制等领域已经取得了较大成功，然而，LM算法及其变体仍有两个重要问题亟需解决。(1)LM算法中基于Hessian矩阵构建的雅可比矩阵的计算增加了运算量和内存需求。事实上，上述算法在学习速率足够小的前提下是稳定的，但为了获得更好的稳定性能所付出的代价是训练时间的延长。(2)拟Hessian矩阵行列式的值为零时即为学习速率的奇点。若拟Hessian矩阵在某一点上是正定的，则凸函数在该点上达到最小值，该点必是一个奇点。如此，难以保证网络的稳定性。

发明内容

针对上述问题，提出了改进的LM算法用于RBFNN在线学习，与典型样本机制相结合，优势如下：(1)通过引入典型样本机制，降低了梯度估计误差。提高学习速度的同时，大大降低了存储空间和计算时间。(2)LM算法的学习率存在奇点(即分母为0的点)，而改进的LM算法重新构造学习率，避免了分母为0，消除了奇点，保证了网络的稳定性。(3)将改进的LM算法应用于典型样本和单个样本的多步更新，有效降低了单个样本带来的更新偏差，加速了网络收敛。

本发明涉及一种基于改进Levenberg-Marquardt的径向基神经网络优化方法，其特征在于：

A典型样本(TS)选取：

TS是一个小批量的样品集，可以用来近似样本整体。在本发明中，TS表示如下

TS＝{(x_n,y_n,a_n,b_n),n＝1,2,…,N,} (1)