[发明专利]一种基于强化学习的喷涂机器人轨迹优化方法

摘要

本发明涉及一种基于强化学习的喷涂机器人轨迹优化方法，所述轨迹优化方法通过图像获取、图像处理、图形三维重建、图形离散化、选取初始点和选择最优轨迹策略，从而确定出最优喷涂轨迹，其中，所述图像处理包括摄像机标定、图像校正和立体匹配。本发明的优点在于：本发明基于强化学习的喷涂机器人轨迹优化方法，该方法能够在不同的环境中根据不同的状态规划出可行路径，并且决策时间短、成功率高，能够满足在线规划的实时性要求，从而克服了传统机械臂路径规划方法实时性差、计算量大的缺点。

主权项

1.一种基于强化学习的喷涂机器人轨迹优化方法，其特征在于：所述轨迹优化方法通过图像获取、图像处理、图形三维重建、图形离散化、选取初始点和选择最优轨迹策略，从而确定出最优喷涂轨迹，其中，所述图像处理包括摄像机标定、图像校正和立体匹配；具体步骤如下：步骤1：图像获取：采用双目视觉系统中的两台相同的相机同时获取同一个场景中的目标物体图像,然后,对获取的图像进行预处理；步骤2：摄像机标定：对于获取的畸变向量，消除它的径向和切线方向上的镜头畸变，获得无畸变图像，同时建立摄像机的成像模型，确定目标点与像素点之间的对应关系；步骤3：图像校正：通过线性变换使处理后的无畸变图像中的共轭极线位于同一水平线上，把二维空间的匹配问题化简为一维空间的求解问题；步骤4：立体匹配：采用立体匹配算法得到校准后的图像与原图像的视差值，然后利用这个视差值得到每两幅图像之间的稀疏匹配，再通过优化算法，获得稠密匹配；步骤5：三维重建：采用三角测量原理计算获取的立体匹配图像的深度值，得到稠密的三维空间点云，再对获取的三维空间点云进行网格化和差值计算，得到物体的三维结构模型；步骤6：图形离散化：通过双目视觉系统对目标物体进行目标获取，对空间进行离散化，即将目标转化为点的集合；步骤7:选取初始点；步骤8：选择最优轨迹策略：将决策策略π定义为一个函数，它将一个状态映射到一个动作s→a，即当前状态s执行动作a；强化学习的目标函数为：Qπ(s,a)＝E(R(s0)+γR(s1)+γ2R(s2)+...|s0＝s,a0＝a,π)     (1)Qπ(s,a)表示当前初始状态s下，采取动作a之后依照策略π的决策运动所能获得期望收益，即找到最优策略π*，使得π*＝arg maxQπ(s,a)。