[发明专利]一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用

摘要

本发明公开了一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用。该方法通过相机标定、单目校正、双目校正、分割非光滑类球体目标与背景、双目测距，计算拟合出非光滑类球体目标三维位姿。该装置包括视觉检测机构、工控机、夹持机构；视觉检测机构先采用上述立体视觉识别方法对非光滑类球体目标进行识别检测，获得非光滑类球体目标的定位信息，然后传输给工控机，进而由夹持机构对非光滑类球体目标进行夹持。本发明的立体视觉识别方法精度高，定位夹持检测装置，夹持稳定，具有容错功能，适用于复杂环境下目标的定位夹持。

主权项

1.一种非光滑类球体目标的立体视觉识别方法，其特征在于包括下述步骤：(1)相机标定：通过相机标定来获取用于校正拍摄图像畸变的相机内部参数矩阵和畸变参数矩阵；同时进行立体视觉的标定，得到两个相机之间的位置关系和用于双目校正的重投影矩阵；(2)获取非光滑类球体目标的图像并进行单目校正：通过相机捕获非光滑类球体目标的数字图像，然后根据相机内部参数矩阵和畸变参数矩阵对数字图像进行畸变校正，得到单目校正后的无畸变数字图像；(3)双目校正：根据步骤(1)中获得的重投影矩阵和左右两个相机的无畸变数字图像，计算出左右两个相机之间的旋转矩阵和平移矩阵，再采用旋转矩阵和平移矩阵对左右两个相机的无畸变数字图像进行双目校正，使得两个图像位于同一水平线上，得到双目校正后的左右图像；(4)分割非光滑类球体目标与背景：运用Faster R‑CNN算法，在双目校正后的左右图像中将非光滑类球体目标与背景分割，并用一层黑色掩膜覆盖背景，得到只保留非光滑类球体目标的图像；(5)双目测距：利用步骤(3)中双目校正后的左右图像以及SGBM立体匹配算法生成视差图；然后根据视差图和步骤(4)中获得的只保留非光滑类球体目标的图像，计算出非光滑类球体目标表面的三维点云，其中三维点云坐标系的原点为左相机的光心位置；(6)计算三维位姿：利用步骤(5)中获得的非光滑类球体目标表面的三维点云和RANSAC算法拟合出一个圆柱体的三维点云模型，拟合出的圆柱体的中心点就是非光滑类球体目标的中心点，圆柱体的中心点对应的三维空间坐标就是该非光滑类球体目标的中心点的三维空间坐标；根据拟合出的圆柱体的轴线，可求出轴线与X轴的夹角α、Y轴的夹角β、Z轴的夹角θ，得到的α、β、θ即非光滑类球体目标相对于左相机的光心位置的三维位姿。