[发明专利]基于高斯过程近似模型的小车上山系统自适应控制方法

摘要

本发明公开了一种基于高斯过程近似模型的小车上山系统自适应控制方法，通过物理系统模拟器产生的在线样本来学习值函数和策略，在此过程中，利用这些在线样本同时学习一个基于高斯过程的环境动态性模型。在该环境动态性模型的精度满足一定精度时，能利用该基于高斯过程的模型进行离线的规划，与在线学习一起共同促进算法的收敛。本发明方法可更快地获取小车上山系统的最优控制方法。

主权项

1.一种基于高斯过程近似模型的小车上山系统自适应控制方法，其特征在于，包括以下步骤：/n步骤(1)初始化模型，设置环境的状态空间X和动作空间U，状态采用二维向量x＝(w，v)∈X来表示，w为小车在水平方向的位置，v为小车在水平方向的速度，小车可以执行的动作为加速度u∈U；高斯过程近似模型即状态迁移函数中的临时变量为向量变量d＝0、变量s＝0和矩阵为状态x对应特征函数，φ(x，u)为状态动作对(x,u)的特征函数；/n步骤(2)初始化超参数，设置折扣率γ，衰减因子λ，最大情节数E，高斯函数的探索方差σ²，矩阵ΔN_k中对角线上的各个元素σ_i²,1≤i≤k，每个情节所包含的最大时间步T，值函数和策略的学习率α，当前情节数e＝1，值函数参数向量策略参数向量高斯过程近似模型参数向量规划最大的次数K；/n步骤(3)初始化小车上山系统的状态空间和动作空间的范围，初始化控制成功或失败的条件，当前时间步t＝1，当前状态x＝x₁；/n步骤(4)以当前最优动作u^*作为高斯函数的均值，以步骤(2)中指定的探索方差σ²作为方差建立高斯方程N(u^*,σ²)，利用高斯方程产生当前要执行的动作u_t；/n步骤(5)在当前状态x_t下，执行步骤(4)中确定的动作u_t，并利用系统的动态性方程得到小车的下一个状态x_t+1，同时利用奖赏函数获得立即奖赏r_t+1，构成样本(x_t,u_t,x_t+1,r_t+1)；/n步骤(6)利用样本计算值函数的TD误差δ_t：δ_t＝r_t+1+γV(x_t+1,ν_t)-V(x_t,ν_t)；/n步骤(7)更新值函数的资格迹e_t+1：/n步骤(8)更新值函数参数ν_t+1：ν_t+1←ν_t+αδ_te_t+1；/n步骤(9)更新策略参数θ_t+1：θ_t+1←θ_t+αδ_t(u^*-u_t)；/n步骤(10)利用该样本来更新模型中间公式p_t+1、d_t+1、s_t+1和P_t+1；/n步骤(11)采用当前样本更新状态迁移函数参数向量：/n步骤(12)更新当前状态：x＝x_t+1，判断x_t+1中的状态分量w_t+1是否控制成功条件：/n如果是，则令e＝e+1，并判断当前情节e＝＝E是否成立：/n如果达到，则转入步骤(19)；/n否则，转入步骤(13)；/n步骤(13)初始化规划次数k＝1，规划过程的初始状态x′_k＝x₁；/n步骤(14)在当前状态为x′_k时，根据步骤(4)选择要执行的动作u_k，然后根据高斯过程模型预测下一个状态：其中，Φ_k＝(φ(x′₁,u₀)，φ(x′₂，u₁),...,φ(x′_k,u_t))^T为到t时间步处的状态特征矩阵，β_k为高斯过程的模型参数，ΔN_t∈R^t×t是到t时间步为止位置向量满足高斯分布的噪声矩阵；/n步骤(15)根据高斯过程模型更新资格迹：/n步骤(16)根据高斯过程模型产生的模拟样本更新值函数参数：v_k+1←ν_k+αδ_ke_k+1；/n步骤(17)根据高斯过程模型产生的模拟样本更新策略参数：θ_k+1←θ_k+αδ_kΔu_k；/n步骤(18)对当前规划次数k进行判断：/n如果k＝＝K/n则更新当前时间步骤t＝t+1，并对其进行判断；/n如果当前时间步没有达到最大时间步T/n转入步骤(4)继续运行；/n否则/n更新当前情节e＝e+1，并对当前情节进行判断：/n如果当前情节e＝＝E/n转入步骤(19)；/n否则/n转入步骤(3)；/n否则/nk＝k+1，并转入步骤(14)/n步骤(19)输出最优策略。此时小车从其初始状态x₀出发，在任意状态x_t处，采用最优策略来获得任意状态x_t对应的最优动作，直到达到目标状态。/n