[发明专利]一种基于强化学习的喷涂机器人轨迹优化方法

说明书

本发明涉及一种基于强化学习的喷涂机器人轨迹优化方法，所述轨迹优化方法通过图像获取、图像处理、图形三维重建、图形离散化、选取初始点和选择最优轨迹策略，从而确定出最优喷涂轨迹，其中，所述图像处理包括摄像机标定、图像校正和立体匹配。本发明的优点在于：本发明基于强化学习的喷涂机器人轨迹优化方法，该方法能够在不同的环境中根据不同的状态规划出可行路径，并且决策时间短、成功率高，能够满足在线规划的实时性要求，从而克服了传统机械臂路径规划方法实时性差、计算量大的缺点。

技术领域

本发明属于智能算法控制领域，特别涉及一种基于强化学习的喷涂机器人轨迹优化方法。

背景技术

大部分喷涂机器人采用示教喷涂，根据技术员工预先设定好的轨迹进行喷涂，这种喷涂方法根据前人喷涂的经验进行有效的喷涂，但是前期编程工作较大，而且轨迹优化不明显，效率较低，涂料浪费相对较大。

基于强化学习的轨迹优化利用强化学习通过机器人对环境进行建模，在机器内部模拟出与环境相同或类似的状况，进行喷涂轨迹优化。在已有的轨迹优化算法中，通常都是概率路图法、快速搜索树法及人工势场法等。此类方法在将对环境建模或者模拟空间时，需要对机械臂的多种姿态进行采样，并通过运动学方程判断当前动作是否合理，计算量大；当环境中的障碍物和目标位置发生改变时，需要对新的环境重新计算构型空间的映射，难以达到动态实时规划的目的。另外，此类方法需要事先对机械臂构建精确的物理模型，建模的偏差会直接影响机械臂控制的效果。

针对目前强化学习的方法，强化学习方法以马尔科夫决策过程来描述问题，通过智能体与环境的互动积累经验，并且不断更新智能体的策略，使它做出的决策能够获得更高的奖励。相比于传统方法，该方法不需要对机械臂构建物理模型，在训练完成后，策略能够直接根据当前环境状态输出下一步的决策，由于网络进行一次前向计算的计算量很少，因此能够实现喷枪的在线规划与实时控制。

发明内容

本发明要解决的技术问题是提供一种基于强化学习的喷涂机器人轨迹优化方法，解决了喷枪在喷涂过程中，能够实现有效的在线规划与实时控制。

为解决上述技术问题，本发明的技术方案为：一种基于强化学习的喷涂机器人轨迹优化方法，其创新点在于：所述轨迹优化方法通过图像获取、图像处理、图形三维重建、图形离散化、选取初始点和选择最优轨迹策略，从而确定出最优喷涂轨迹，其中，所述图像处理包括摄像机标定、图像校正和立体匹配；具体步骤如下：

步骤1：图像获取：采用双目视觉系统中的两台相同的相机同时获取同一个场景中的目标物体图像,然后,对获取的图像进行预处理；

步骤2：摄像机标定：对于获取的畸变向量，消除它的径向和切线方向上的镜头畸变，获得无畸变图像，同时建立摄像机的成像模型，确定目标点与像素点之间的对应关系；

步骤3：图像校正：通过线性变换使处理后的无畸变图像中的共轭极线位于同一水平线上，把二维空间的匹配问题化简为一维空间的求解问题；

步骤4：立体匹配：采用立体匹配算法得到校准后的图像与原图像的视差值，然后利用这个视差值得到每两幅图像之间的稀疏匹配，再通过优化算法，获得稠密匹配；

步骤5：三维重建：采用三角测量原理计算获取的立体匹配图像的深度值，得到稠密的三维空间点云，再对获取的三维空间点云进行网格化和差值计算，得到物体的三维结构模型；

步骤6：图形离散化：通过双目视觉系统对目标物体进行目标获取，对空间进行离散化，即将目标转化为点的集合；

步骤7:选取初始点；

步骤8：选择最优轨迹策略：将决策策略π定义为一个函数，它将一个状态映射到一个动作s→a，即当前状态s执行动作a；强化学习的目标函数为：