[发明专利]一种基于强化学习的Baxter机械臂轨迹跟踪控制方法

权利要求书

1.一种基于强化学习的Baxter机械臂轨迹跟踪控制方法，其特征在于，所述方法包括以下步骤：

步骤1)，对Baxter机械臂前三个关节进行模型辨识，确定机械臂的动力学方程，通过系统辨识获得的动力学方程仅用于在仿真时获取机械臂前三个关节的位置和速度跟踪误差，n自由度刚性机械臂的连续时间动力学模型由式(1)所表示

其中表示关节的位置，和分别代表关节的速度和加速度信息，是关节的转矩向量，是对称正定的惯性矩阵；向量包含了机械臂的科氏力，摩擦力以及重力项；向量包含了系统的不确定性：参数的不确定性、低速摩擦、连杆柔性以及关节齿轮系的低频电磁干扰和反向间隙；

步骤2)，建立机械臂的状态空间方程并离散化，过程如下：

机械臂的状态变量表示为一个(2n×1)的向量

则机械臂的状态空间方程表示为

其中u＝τ是输入转矩向量，y是输出向量；矩阵A_c和B_c定义如下

其中O_n表示(n×n)的零矩阵，I_n表示(n×n)的单位矩阵，式(3)中的其他两项分别为

其中0_n表示为(n×1)的零向量；

假设输出变量在固定的采样时间T内进行测量，且输入扭矩在每个时间间隔内保持不变，因此，将连续的机械臂模型转化为离散的模型；

其中h＝Th_c，B＝TB_c，ε_d1和ε_d2是离散化连续时间机械臂产生的误差，C是输出矩阵；

步骤3)，基于强化学习中策略迭代方法设计自适应反馈控制器，从机械臂中采集当前机械臂前三个关节的位置和速度跟踪误差，根据历史的输入输出信息计算出最优的状态反馈控制增益，过程如下：

根据式(7)所描述的机器人状态空间方程，机器人的二次性能指数表示为

其中γ是折扣因子，取值范围为(0,1]之间，R_u＝R_u^T＞0，Q_y＝Q_y^T≥0分别是输入输出的权值矩阵，通过最小化系统的性能指数可以找到最优的状态反馈增益，这个最优化问题等价于求解线性二次调节器LQR问题，在求解动态规划问题时，需要知道系统的状态空间方程，为了避免在求解过程中使用系统的参数矩阵，采用了策略迭代的方法，根据系统的输入输出数据计算出最优的反馈控制策略，策略迭代过程中的贝尔曼方程为

式(9)左边是机械臂包含动作的价值函数，其中H是一个正定矩阵，通过使用最小二乘法可将H矩阵计算出来，然后根据式(10)进行策略的更新

F^j+1＝-(H_uu^j+1)^-1H_ux^j+1 (10)

其中这两个矩阵从H矩阵中得到，其在H中的形式为

2.如权利要求1所述的一种基于强化学习的Baxter机械臂轨迹跟踪控制方法，其特征在于，所述方法还包括以下步骤：

步骤4)，在仿真软件中进行调试，验证本策略迭代算法的可行性，过程如下：

4.1)首先对机械臂进行初始化，选择一个初始的状态反馈增益F₀，和初始的黎卡提方程解矩阵H₀，且初始的状态反馈增益并不要求保证机械臂是稳定的，H是一个对称的矩阵，含有(n+k_u)(n+k_u+1)个未知的参数，其中k_u是输入u的个数，n是机械臂系统状态的个数；

4.2)根据采集到机械臂前三个关节的位置和速度跟踪误差，通过最小二乘法计算向量和H矩阵，过程如下：

将机器人系统k时刻的价值函数表示为的形式，其中表示向量在k时刻的Kronecker积二次多项式的基向量，向量中元素为{x_i(k)x_j(k)}_{i＝1,n；j＝i,n}，{x_i(k)u(k)}_i＝1,n；，{u(k)u(k)}，其中vec(.)是作用于对称矩阵的向量值矩阵函数，通过堆叠对称矩阵对角线和上三角部分的元素返回列向量，其中非对角线元素取为2H_ij；

认为最优的控制策略为μⁱ(x(k))，使用递归的最小二乘法去获得对应的权值矩阵给定初始常数矩阵以及初始的黎卡提方程解矩阵其中β是一个常数，递归的最小二乘算法如下

其中j表示第j次对的估计，k和j会随着时间序列的增加而递增；

4.3)计算得到估计的H^j+1矩阵之后，根据式(10)计算新的最优状态反馈控制增益F^j+1，

4.4)判断||h_j+1-h_j||_F向量是否小于阈值ε，如果||h_i+1-h_i||_F＜ε则停止更新策略，反之则继续进行策略迭代，更新下一个控制策略。