[发明专利]基于DRVB-ASCKF的SVR参数优化方法

摘要

本发明涉及一种基于DRVB-ASCKF的SVR参数优化方法，本发明大体包括三部分内容。第一部分根据实际支持向量回归（SVR）的参数优化问题进行系统建模；第二部分简述变分贝叶斯自适应平方容积卡尔曼滤波（VB-ASCKF)；第三部分结合VB-ASCKF引出双重递归变分贝叶斯自适应卡尔曼滤波方法（DRVB-ASCKF），并最终求得状态估计，估计误差协方差，观测噪声协方差，过程噪声协方差以及Inv-Gamma分布参数和。因此，可以将DRVB-ASCKF应用于SVR的参数优化中，该方法具有较高的滤波精度，同时它也可以处理噪声方差的不确定问题。

主权项

基于DRVB‑ASCKF的SVR参数优化方法，其特征在于该方法包括以下步骤：步骤1.系统建模：将支持向量回归的系统选择问题转换为非线性系统状态估计问题，并建立非线性状态空间模型如下：$\left\{\begin{array}{c}{x}_k=x_{k-1}+v_{k-1}\\ y_k=h\left(x_k\right)+w_k\end{array}\right.$式中，k为时间参数，超参数x_k∈R^m是状态向量；y_k∈R^m是非线性观测向量，其中初始状态具有一个高斯先验分布y₀～N(m₀,P₀)，假设已知初始状态先验分布的参数m₀和P₀；非线性函数h(·)是观测函数；v_k～N(0,Q_k)是具有协方差矩阵的高斯过程噪声；w_k～N(0,Σ_k)，Q_k是具有对角协方差Σ_k的观测噪声；步骤2.变分贝叶斯自适应平方容积卡尔曼滤波(2.1)时间更新：1)估计容积点X_ik‑1|k‑1和传播后的容积点$\left\{\begin{array}{c}{X}_{i,k-1|k-1}=S_{k-1|k-1}{\mathrm{\ζ}}_i+{\hat{x}}_{k-1|k-1}\\ X_{i,k|k-1}^{*}=X_{i,k-1|k-1}\end{array}\right.$式中，为k‑1时刻的状态估计；S_k‑1|k‑1能在第k‑1个状态估计期间在线得出；${\mathrm{\ζ}}_l=\sqrt{\frac{m}{2}}{\left[l\right]}_i,i=\mathrm{1,2},\·\·\·,m(m=2n),$令n＝2且$\left[l\right]=\{\left(\begin{array}{c}1\\ 0\end{array}\right),\left(\begin{array}{c}0\\ 1\end{array}\right),\left(\begin{array}{c}-1\\ 0\end{array}\right),\left(\begin{array}{c}0\\ -1\end{array}\right)\};$2)估计一步状态预测及其协方差的平方根因子S_k‑1|k‑1：$\left\{\begin{array}{c}{\hat{x}}_{k-1|k-1}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{X}_{i,k|k-1}^{*}\\ S_{k-1|k-1}=\mathrm{Tria}\left(\right[X_{i,k|k-1}^{*},S_{{\hat{Q}}_{k-1}^j}\left]\right)\end{array}\right.$式中是的平方根；Tria(·)是Cholesky分解；3)估计对角协方差Σ_k的预测参数α_k,i|k‑1和β_k,i|k‑1；(2.2)观测更新：1)估计观测预测值${\hat{y}}_{k|k-1}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{Y}_{\mathrm{li},k|k-1}$式中，Y_i,k|k‑1是传播后的容积点；2)估计协方差预测值P_xz,k|k‑1；3)迭代初始化，即令j＝0并给定迭代次数N；4)估计观测噪声的协方差5)估计更新协方差预测的平方根6)估计滤波增益矩阵和估计误差协方差的平方根$\left\{\begin{array}{c}{K}_k^{j+1}={(P_{\mathrm{xz},k|k-1}/S_{\mathrm{zz},k|k-1}^{j+1})}^T/S_{\mathrm{zz},k|k-1}^{j+1}\\ S_{k|k}^{j+1}=\mathrm{Tria}\left(\right[x_{k|k-1}-K_k^{j+1}{\mathrm{\ζ}}_{k|k-1}{K}_k^{j+1}{S}_{{\widehat{\mathrm{\Σ}}}_k^j}\left]\right)\end{array}\right.$式中，${\mathrm{\ζ}}_{k|k-1}=\frac{1}{\sqrt{m}}[X_{1,k|k-1}-{\hat{x}}_{k|k-1},X_{2,k|k-1}-{\hat{x}}_{k|k-1},\·\·\·,X_{m,k|k-1}-{\hat{x}}_{k|k-1}];$7)估计状态和估计误差协方差$\left\{\begin{array}{c}{\hat{x}}_{k|k}^{j+1}=({\hat{x}}_{k|k-1}+K_k^{j+1}(y_k-{\hat{y}}_{k|k-1}))\\ P_{k|k}^{j+1}=S_{k|k}^{j+1}{\left(S_{k|k}^{j+1}\right)}^T\end{array}\right.$8)估计过程噪声的协方差${\hat{Q}}_k=(1-d_k){\hat{Q}}_{k-1}+d_k[K_k{\tilde{y}}_k{\tilde{y}}_k^T{K}_k^T+P_{k|k}-{\mathrm{\φ}}_k{P}_{k-1|k\_1}{\mathrm{\φ}}_k^T]$式中，d_k＝(1‑b)/(1‑b^k+1)，遗忘因子b满足0.95＜b＜0.99；K_k和P_k|k分别为系统滤波增益矩阵和估计误差协方差；φ_k是系统转移矩阵；步骤3.给定双重递归变分贝叶斯自适应卡尔曼滤波1)设定已知输入：非线性观测向量y_k；过程噪声方差状态估计值估计误差协方差预测参数α_k‑1和β_k‑1；权系数ρ_k‑1；2)令$Q_k={\hat{Q}}_{k-1};$3)令状态向量一步预测值满足：$\left\{\begin{array}{c}{x}_{k|k-1}={\hat{x}}_{k-1}\\ P_{k|k-1}={\hat{P}}_{k-1}+Q_k\end{array}\right.$4)计算观测噪声的Inv‑Gamma分布参数；5)内环迭代初始化，即令j＝0并给定迭代次数N；并令α_k,i＝0.5+α_k,i|k‑1，${\mathrm{\β}}_{k,i}^0={\mathrm{\β}}_{k,i|k-1},i=\mathrm{1,2},\·\·\·,d;$6)迭代循环VB算法，若j＜N，则更新参数β_k，并令j＝j+1；当j＝N时，结束迭代进程，得$\left\{\begin{array}{c}{\mathrm{\β}}_k={\mathrm{\β}}_k^N,{\widehat{\mathrm{\Σ}}}_k={\widehat{\mathrm{\Σ}}}_k^N\\ S_{\mathrm{zz},k|k-1}=S_{\mathrm{zz},k|k-1}^{N+1}\\ {\hat{x}}_{k|k}={\hat{x}}_{k|k}^{N+1},P_{k|k}=P_{k|k}^{N+1}\end{array}\right.$7)执行外环迭代，最终得