[发明专利]一种神经网络跟踪控制的自适应学习率调节方法

摘要

本发明一种神经网络跟踪控制的自适应学习率调节方法，包括以下几个步骤：建立控制系统；将神经网络的所有权值按层进行单位化；引入训练样本集得到误差信号e(n)和训练代价函数ε(n)；得到线性化后的活化函数s(x)；确定各神经元的诱导局部域及神经元输出；求解各个局部梯度函数δ_j(n)及线性化表示δ_jL(n)；选择的自适应调整学习率；训练神经元突触权值；循环次数加1，直至满足停止准则，输出跟踪控制信号。本发明提出一种能够使步长迭代均值不受噪声影响，具有平滑迭代曲线，并可充分利用误差信号的一种基于活化函数及多误差信号的学习率自适应调节方法，从而可实时更新学习率，且减小计算复杂度。

主权项

一种神经网络跟踪控制的自适应学习率调节方法，其特征在于：包括以下几个步骤，步骤一：建立控制系统，神经网络采用MISO的多层反馈网结构，各神经元函数为活化函数，设置循环停止准则；神经网络的状态空间的权值空间W_k和网络输出Z_k为：$\left\{\begin{array}{c}{W}_k=W_{k-1}+{\mathrm{\φ}}_k\\ Z_k=\mathrm{\ψ}(W_k,U_k)\end{array}\right.$其中U_k为网络输入，φ_k为权值更新函数，ψ(W_k,U_k)为参数化的非线性函数，小波网络的权值空间为W_k，将权值空间中的每个权值生成[‑1,1]区间上均匀分布的随机数；步骤二：将神经网络的所有权值按层进行单位化；步骤三：引入训练样本集{x(n),norm(n)}，依次输入向量x(1)，x(2)……x(n)，并记录网络输出z(1)，z(2)……z(n)，得到误差信号e(n)和训练代价函数ε(n)：e(n)＝norm(n)‑z(n)$\mathrm{\ϵ}\left(n\right)=\frac{1}{2}{e}^2\left(n\right);$步骤四：得到线性化后的活化函数s(v(n))：$s\left(v\left(n\right)\right)=\left\{\begin{array}{cc}a,& v\left(n\right)>{\mathrm{\θ}}_1\\ c\left(m\right)v\left(n\right)+d\left(m\right),& {\mathrm{\θ}}_2\<v\left(n\right)\<{\mathrm{\θ}}_1,m=1m2...M\\ b,& v\left(\mathrm{\θ}\right)\<{\mathrm{\θ}}_2\end{array}\right.$M＝λ(θ₁+θ₂),M为奇数s(v(n))分为上下饱和边界和线性拟合区域，其中M为奇数以保证(0,0)或(0,y₀)不在分割界上，a和b分别为函数的上下饱和边界，θ₁和θ₂分别为饱和边界的阈值，c(m)和d(m)为线性区域系数，λ为常值系数；步骤五：确定各神经元的诱导局部域及神经元输出，诱导局部域和神经元j的输出信号分别为：$v_j\left(n\right)=\underset{i=1}{\overset{I}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{z}_i\left(n\right)=Z_i^T\left(n\right)W_{\mathrm{ij}}\left(n\right)$其中v_j(n)为诱导局部域，w_ij为权值，z_i(n)为上层神经元输出，W_ij和Z_i(n)分别为w_ij和z_i(n)构成的向量，I为上层神经元总数，为j层的活化函数；步骤六：求解各个局部梯度函数δ_j(n)及线性化表示δ_jL(n)；步骤七：选择自适应调整学习率为：μ(n+1)＝αμ(n)+γ[(1‑β)+e(n)e(n‑1)+βe(n‑1)e(n‑2)+...+β^ν‑1e(n‑ν+1)e(n‑ν)]其中0＜α＜1，0＜β＜1，γ＞0，同时学习率满足条件：$\mathrm{\μ}(n+1)=\left\{\begin{array}{cc}{\mathrm{\μ}}_{\max }& \mathrm{\μ}>{\mathrm{\μ}}_{\max }\\ g(\mathrm{\μ}\left(n\right),e\left(n\right),e(n-1),...,e(n-v))& {\mathrm{\μ}}_{\min }\<\mathrm{\μ}\<{\mathrm{\μ}}_{\max }\\ {\mathrm{\μ}}_{\min }& \mathrm{\μ}\<{\mathrm{\μ}}_{\min }\end{array}\right.;$步骤八：训练神经元突触权值；突触权值的调整过程中采用局部梯度δ_j(n)，具体描述如下：w_ij(n+1)＝w_ij(n)+Δw_ij(n)Δw_ij(n)＝μ(n)δ_j(n)z_i(n)；步骤九：循环次数加1，返回步骤五，直至满足停止准则，输出跟踪控制信号；步骤十：将控制信号输入执行机构并与系统进行计算融合，输出被控参数值，并与预期量进行比较，完成闭环反馈控制过程。