[发明专利]一种基于强化学习的喷涂机器人轨迹优化方法

权利要求书

1.一种基于强化学习的喷涂机器人轨迹优化方法，其特征在于：所述轨迹优化方法通过图像获取、图像处理、图形三维重建、图形离散化、选取初始点和选择最优轨迹策略，从而确定出最优喷涂轨迹，其中，所述图像处理包括摄像机标定、图像校正和立体匹配；具体步骤如下：

步骤1：图像获取：采用双目视觉系统中的两台相同的相机同时获取同一个场景中的目标物体图像,然后,对获取的图像进行预处理；

步骤2：摄像机标定：对于获取的畸变向量，消除它的径向和切线方向上的镜头畸变，获得无畸变图像，同时建立摄像机的成像模型，确定目标点与像素点之间的对应关系；

步骤3：图像校正：通过线性变换使处理后的无畸变图像中的共轭极线位于同一水平线上，把二维空间的匹配问题化简为一维空间的求解问题；

步骤4：立体匹配：采用立体匹配算法得到校准后的图像与原图像的视差值，然后利用这个视差值得到每两幅图像之间的稀疏匹配，再通过优化算法，获得稠密匹配；

步骤5：三维重建：采用三角测量原理计算获取的立体匹配图像的深度值，得到稠密的三维空间点云，再对获取的三维空间点云进行网格化和差值计算，得到物体的三维结构模型；

步骤6：图形离散化：通过双目视觉系统对目标物体进行目标获取，对空间进行离散化，即将目标转化为点的集合；

步骤7:选取初始点；

步骤8：选择最优轨迹策略：将决策策略π定义为一个函数，它将一个状态映射到一个动作s→a，即当前状态s执行动作a；强化学习的目标函数为：

Q^π(s,a)＝E(R(s₀)+γR(s₁)+γ²R(s₂)+...|s₀＝s,a₀＝a,π)(1)

Q^π(s,a)表示当前初始状态s下，采取动作a之后依照策略π的决策运动所能获得期望收益，即找到最优策略π^*，使得π^*＝argmaxQ^π(s,a)；

步骤2中的摄像机标定，假设目标点P的三维坐标为(Xw,Yw,Zw)，左摄像机的坐标系为O₁-X₁Y₁Z₁，图像坐标系为o₁-x₁y₁；右摄像机的坐标系为O₂-X₂Y₂Z₂，图像坐标系为o₂-x₂y₂；原点O₁,O₂分别为左右摄像机的光心；左右摄像机的焦距分别设为f₁，f₂；

步骤5中得到物体的三维结构模型

其中，r₁,r₂……r₉为旋转分量；t_x,t_y,t_z为平移分量，式中Xw、Yw和Zw为三维结构模型中三维坐标的解。