[发明专利]一种基于Q学习的Baxter机械臂智能优化控制方法

说明书

一种基于Q学习的Baxter机械臂智能优化控制方法，包括以下步骤：步骤1)建立一个非线性机械臂动力学方程；2)Q‑learning算法设计。本发明采用基于数据驱动的控制算法，并不需要系统模型，它通过系统以往的历史数据构造出近似的模型来逼近真实情况，在误差允许的范围内，单从结果上和精确的模型是等效的。

技术领域

本发明属于控制技术领域，具体提供了一种基于Q学习的Baxter机械臂智能优化控制方法，是一种智能控制方法。

背景技术

在现代科技飞速发展的今天，机械臂以其小巧灵活，操作简单，灵活多样等特点，始终处于科技的前沿，一直引领着高新技术的方向。随着人工智能和计算机大数据时代的到来，人类总是期望机械臂能够具有更加强大的自主化能力，以代替我们在更多的邻域完成更加复杂危险的操作任务，为实现这一目标，其核心技术就是需要机械臂具有优良的运动规划能力，使机械臂在无人干扰的条件下也可以在未知的环境中有目的，准确高效的工作。

机械臂动力学方程是非线性，现有的控制方法大多数是基于模型，如pid控制、模糊控制、滑模变结构控制等，虽然很多线性方法在机器人控制中得到广泛应用，但经过线性化的模型与机器人的实际模型仍然有差别，并且经过线性化对机器人建模十分困难，当模型不精确时，甚至可能起反作用。

发明内容

为了克服现有技术的不足，本发明提供了一种基于Q学习的智能优化控制方法，它是一种基于数据驱动的控制算法，并不需要系统模型，它通过系统以往的历史数据构造出近似的模型来逼近真实情况，在误差允许的范围内，单从结果上和精确的模型是等效的。实验结果验证了该方法的有效性。

本发明为解决上述技术问题提供了如下技术方案：

一种基于Q学习的Baxter机械臂智能优化控制方法，包括以下步骤：

步骤1)建立一个非线性机械臂动力学方程：

其中q,分别表示机械臂角度，角速度，角加速度，向量M(q)表示机械臂惯性矩阵，表示机械臂科氏力矩向量,G(q)表示机械臂重力矩向量，τ(k)表示第k步的机械臂控制力矩向量，表示模型不确定性,u(k)表示第k步的控制策略；

考虑机器人动力学模型已知，定义为便于分析，将式(1)转化成如下状态空间模型：

y(k)＝x(k)

其中

x(k)是第k步的状态，y(k)是第k步的系统输出，

O_3×3表示3行3列的零矩阵，I_3×3表示3行3列的单位矩阵，n(x₁,x₂)表示采点个数，-M^-1(x₁)表示惯性矩阵的逆矩阵。

步骤2)Q-learning算法设计，过程如下:

定义一个基于稳定策略u(0)的Q函数

Q^u(0)(x(k),u(k))＝c(x(k),u(k))+γV^u(x(k+1)) (3)

其中V^u(0)(x(k+1))是第k+1步系统价值函数，

x(k+1)是第k+1步的状态，

c(x(k),u(k))＝U^TRU+y^T(k)Q^u(0)(x(k),u(k))y(k)