[发明专利]一种基于强化学习和李雅普诺夫函数的鲁棒控制方法

权利要求书

1.一种基于强化学习和李雅普诺夫函数的鲁棒控制方法，其特征在于，包括以下步骤：

步骤一：构建仿射系统模型，然后基于高斯过程，对系统动力学模型存在的不确定性进行建模；高斯过程回归通过贝叶斯推理得到机器人状态s_*；仿射系统建模为：其中f(s)+g(s)a代表对系统动力学、运动学建模所得的先验模型，d(s)代表模型与真实环境的偏差；

通过在线收集的数据集高斯过程回归通过贝叶斯推理得到状态s_*的下偏差d(s_*)的均值和方差：

其中，k(s_i,s_j)是GP中所定义的核函数，k_n＝[k(s₁,s_*),k(s₂,s_*),...,k(s_n,s_*)]，[K]_i,j＝k(s_i,s_j)为核矩阵，是标签向量，σ_noise是标签数据噪音的标准差，I为单位矩阵；

得到关于d(s)的高置信区间：

D(s)＝{d(s)|μ(s)-c_δσ(s)≤d(s)≤μ(s)+c_δσ(s)}

其中μ(s)是偏差d(s)的均值，σ(s)是偏差d(s)的标准差，c_δ0是高斯分布中(1-δ)置信度对应的常数

步骤二：构建全连接神经网络，以机器人状态s为神经网络的输入，以机器人动作a为神经网络的输出；

步骤三：获取机器人当前时刻的状态s_t和奖励r_t，构建模型预测控制框架和强化学习算法为基准策略得到机器人动作，通过模型预测控制框架求解固定时域H内最大化累积奖励的动作序列，并将动作序列的第一个动作a_t作为策略的输出u_rl；模型预测控制框架求解固定时域H内最大化累积奖励的动作序列的具体公式为：

其中，为t+h时刻的奖励值，为t至t+H时刻的动作序列；

步骤四：步骤二中的全连接神经网络以当前时刻状态s_t作为输入，得到输出u_nn；

步骤五：构建控制李雅普诺夫函数并结合高斯过程，将机器人状态渐进收敛到设置的平衡点，在高置信度下保证基准策略的稳定性；构建控制屏障函数并结合高斯过程，在高置信度下将机器人探索和动作空间约束在安全可行域内，且将不安全域内的状态渐进收敛到安全域内，通过联合控制李雅普诺夫函数和控制屏障函数构建不等式约束的二次规划问题，并得到最佳动作u_{cbf_clf}；不等式约束的二次规划问题的具体公式为：

s.t.-L_gh(s)a-L_fh(s)-L_μh(s)+c_σ|L_σh(s)|-κh(s)≤ε,-L_gV(s)a-L_fV(s)-L_μV(s)+c_σ|L_σV(s)|-κV(s)≤η,a_min≤a≤a_max,

其中，V(s),h(s)分别为能量函数和屏障函数，a是机器人动作，a_max,a_min则对应其上界与下界，对角矩阵H(s)代表每一维动作的权重，ε,η代表松弛变量而K_ε,K_η则是对应的系数，c_σ是方项对应的系数，符号L代表李氏导数，κ是一个k类函数；

步骤六：将机器人动作a_t＝u_rl+u_nn+u_{cbf_clf}应用于机器人的与环境的交互中；

步骤七：在线收集控制李雅普诺夫函数和控制屏障函数策略的状态和动作序列，训练全连接神经网络；

步骤八：在线收集机器人与环境交互的状态和动作序列，更新高斯过程；

步骤九：重复步骤三至步骤八直至交互结束。

2.根据权利要求1所述的一种基于强化学习和李雅普诺夫函数的鲁棒控制方法，其特征在于，在所述步骤三中，所述强化学习算法基于交叉熵方法。