[发明专利]基于双目相机视差对绣花机目标针眼进行精确定位的方法

权利要求书

1.基于双目相机视差对绣花机目标针眼进行精确定位的方法，其特征在于：该方法的实现过程如下，

S1相机标定；首先定义以像素为单位的图像坐标系和以物理长度单位表示的图像坐标系；引入相机针孔模型，完成单个相机的标定；采用双目相机进行标定，即用两个相机同时拍摄标定板的图像，再进行每个相机的单独标定，最后，在每个相机单独标定完成后，求双目相机的相对位置；

S2三维空间点的重建；通过两个标定好的相机同时观察空间中的绣花机目标针眼位置，通过绣花机目标针眼位置分别在左右相机中计算成像坐标，即可求解出在空间中的真实坐标位置；

S3根据图像特征建立穿线器模型和针眼模型；引入边缘检测用的Sobel算子，在得到图像的梯度之后，下一步进行非最大值抑制算法；非最大值抑制算法在边缘检测的基础上，跟踪边缘两侧的像素的亮度值；进行非最大值抑制之后，使边缘变细；再对结果图像用滞后双阈值进行限定，即使用一个最小阈值和最大阈值除去结果中的不必要部分，最终得到一个合适的模板；

S4基于形状的模板匹配；在S3中得到合适的模板之后，接下来就要对相机拍摄的目标图像根据模板进行匹配和识别；

S5基于深度学习的针眼位置精确检测；考虑针眼识别的特定场景约束并采用逐步合并的方法划分候选区域，实现对图像中针眼所在位置的精确检测定位；

S6机械臂手眼标定；

对图像中针眼所在位置的精确检测定位后，机械臂控制器控制机械臂就会移动到相机识别出来的目标位置，进行穿线；

S7反馈调节过程判断依据是针眼中是否有穿线器；根据穿线器成功穿过针眼时所训练的模型进行检测，当穿线器穿过针眼后，固线夹沿一个固定方向移动将所夹持的线架到穿线器上，完成机械臂归位，归位过程中穿线器勾着面线退出针眼，同时就使得面线穿过针眼，穿线流程结束；

其中，S5基于深度学习的针眼位置精确检测；实现过程如下，

考虑针眼识别的特定场景约束：1)针眼的形状大致为固定长宽比的小矩形；2)针眼区域内部和外部的颜色、纹理有较大差别；在这两个约束下，采用逐步合并的方法划分候选区域：

(1)、将图像整齐地划分成若干个固定长宽比的小矩形；

(2)、计算每个小矩形区域的颜色、纹理的数值特征；

(3)、遍历计算相邻两个小矩形的特征空间欧氏距离；

(4)、如果欧氏距离小于某预定的阈值，将这两个小矩形合并；

产生候选区域后，通过空间缩放，将每个区域变换成64*64*3的标准大小图片，将图片输入CNN进行图像分类；采用简化的AlexNet网络结构，图像接入2个卷积层，每层置32个3*3卷积核，进行2*2的最大池化，再接入2个卷积层，每层置64个3*3卷积核，再进行2*2最大池化，最后通过两个全连接层进行图像的二分类；划分好候选区域；

在划分好候选区域并训练好CNN图像分类器后，已经能获得每个区域的图像是针眼的概率；为了进一步精密修正针眼的位置，继续训练了一个边界框坐标的线性回归模型；训练样本为(P，G)，其中P＝(Px，Py，Pw，Ph)，Px、Py、Pw、Ph分别为预测边界框的x轴坐标、y轴坐标、宽度、高度，四个值确定唯一区域；而G＝(Gx，Gy，Gw，Gh)，Gx、Gy、Gw、Gh分别为真实边界框的x轴坐标、y轴坐标、宽度、高度；采用人工标注的方法画出1000张针眼图像的针眼所在区域真实值，用最小化均方误差作为目标函数进行训练；训练完成后，反求出预测框的修正位置：

由此实现对图像中针眼所在位置的精确检测定位。