[发明专利]一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用

权利要求书

1.一种非光滑类球体目标的定位夹持检测装置，其特征在于：所述非光滑类球体目标为菠萝；所述定位夹持检测装置包括视觉检测机构、工控机、夹持机构；视觉检测机构先采用立体视觉识别方法对非光滑类球体目标进行识别检测，获得非光滑类球体目标的定位信息，然后传输给工控机，进而由夹持机构对非光滑类球体目标进行夹持；所述夹持机构，包括气缸、底板、铜柱、仿生蟹钳定导向夹指、仿生蟹钳动导向夹指、连接板、固定板、角码、力传感器；气缸安装在底板上；气缸的活塞杆与连接板相连，用于驱动仿生蟹钳动导向夹指；仿生蟹钳定导向夹指和仿生蟹钳动导向夹指分别通过铜柱固定在底板上；力传感器安装在仿生蟹钳动导向夹指的中部凸点上；固定板通过角码固定在底板上；所述仿生蟹钳定导向夹指和仿生蟹钳动导向夹指构成的夹指，其结构分为前中后三个部分；夹指的前部为V型结构，当夹指合拢时，V型结构的角度为110～130度，该结构具有自动定心和容错的功能；夹指的前部尖端为内倒钩，内倒钩的侧面与前部V型结构的内侧基本平行，该结构可以防止非光滑类球体目标滑出；夹指的中部为非光滑类球体目标的截面形状，使得夹持过程中夹指与非光滑类球体目标有更多的接触点；夹指的中部内侧有模仿蟹钳内侧的防滑凸点，防滑凸点的高度与非光滑类球体目标的表面凹坑相适应，用于在夹持过程中增加摩擦力；夹指的中部安装有力传感器，用于控制夹指的夹紧力；

所述立体视觉识别方法，包括下述步骤：

(1)相机标定：通过相机标定来获取用于校正拍摄图像畸变的相机内部参数矩阵和畸变参数矩阵；同时进行立体视觉的标定，得到两个相机之间的位置关系和用于双目校正的重投影矩阵；

(2)获取非光滑类球体目标的图像并进行单目校正：通过相机捕获非光滑类球体目标的数字图像，然后根据相机内部参数矩阵和畸变参数矩阵对数字图像进行畸变校正，得到单目校正后的无畸变数字图像；

(3)双目校正：根据步骤(1)中获得的重投影矩阵和左右两个相机的无畸变数字图像，计算出左右两个相机之间的旋转矩阵和平移矩阵，再采用旋转矩阵和平移矩阵对左右两个相机的无畸变数字图像进行双目校正，使得两个图像位于同一水平线上，得到双目校正后的左右图像；

(4)分割非光滑类球体目标与背景：先对非光滑类球体目标样本进行大量采样，获得用于深度学习训练的样本素材；然后利用在Ubuntu系统下TensorFlow框架的Faster R-CNN对样本素材进行训练，得到结果曲线收敛的TF-Faster R-CNN模型；接着利用opencv3.4.3库中的dnn模块调用训练好的TF-Faster R-CNN模型，调用模型后即可实现基于C++的FasterR-CNN算法，在双目校正后的左右图像中将非光滑类球体目标与背景分割，并用一层黑色掩膜覆盖背景，得到只保留非光滑类球体目标的图像；

(5)双目测距：利用步骤(3)中双目校正后的左右图像以及SGBM立体匹配算法生成视差图；然后根据视差图和步骤(4)中获得的只保留非光滑类球体目标的图像，计算出非光滑类球体目标表面的三维点云，其中三维点云坐标系的原点为左相机的光心位置；

(6)计算三维位姿：利用步骤(5)中获得的非光滑类球体目标表面的三维点云和RANSAC算法拟合出一个圆柱体的三维点云模型，拟合出的圆柱体的中心点就是非光滑类球体目标的中心点，圆柱体的中心点对应的三维空间坐标就是该非光滑类球体目标的中心点的三维空间坐标；根据拟合出的圆柱体的轴线，可求出轴线与X轴的夹角α、Y轴的夹角β、Z轴的夹角θ，得到的α、β、θ即非光滑类球体目标相对于左相机的光心位置的三维位姿；

其中，RANSAC算法输入是一组非光滑类球体目标的表面点云数据、一个用于解释观测数据的参数化模型以及预设的参数，预设的参数包括最大迭代次数、初始局内点占总集比例、误差阈值；所述参数化模型为圆柱面模型，圆柱面方程可以表示为：

其中，(x₀,y₀,z₀)为圆柱轴线L上一点，(l,m,n)为圆柱轴线L方向向量，r为圆柱的半径，这七个参数可以确定一个圆柱面方程。

2.根据权利要求1所述的非光滑类球体目标的定位夹持检测装置，其特征在于：所述视觉检测机构，包括双目视觉系统、相机平行支架；双目视觉系统安装在相机平行支架上，相机平行支架安装在非光滑类球体目标的传输带的上方。