[发明专利]基于双目相机视差对绣花机目标针眼进行精确定位的方法

摘要

本发明公开了基于双目相机视差对绣花机目标针眼进行精确定位的方法，属于绣花机自动化设计技术领域。利用双目相机的视差，构建高精度的算法，识别穿线器和目标针眼的精确位置；主要的技术难题在于利用机器视觉以及深度学习算法来检测定位针眼，并通过反馈调节机械臂将线穿过针眼。采用双目相机先进行标定，求出双目相机的相对位置，再对机械臂和相机进行标定，通过标定好的相机同时拍摄目标图像来求解目标在空间中的具体位置。采用基于深度学习的针眼定位方案作为上述机器视觉方法的冗余补充和识别率、准确率以及精确度的增强。本发明通过解决自动穿线问题，极大的提高了电脑绣花设备的自动化程度，节约人力，降低生产成本。

主权项

1.基于双目相机视差对绣花机目标针眼进行精确定位的方法，其特征在于：该方法的实现过程如下，S1相机标定；首先定义以像素为单位的图像坐标系和以物理长度单位表示的图像坐标系；引入相机针孔模型，完成单个相机的标定；采用双目相机进行标定，即用两个相机同时拍摄标定板的图像，再进行每个相机的单独标定，最后，在每个相机单独标定完成后，求双目相机的相对位置；S2三维空间点的重建；通过两个标定好的相机同时观察空间中的绣花机目标针眼位置，通过绣花机目标针眼位置分别在左右相机中计算器成像坐标，即可求解出在空间中的真实坐标位置；S3根据图像特征建立穿线器模型和针眼模型；引入边缘检测用的Sobel算子，在得到图像的梯度之后，下一步进行非最大值抑制算法；非最大值抑制算法在边缘检测的基础上，跟踪边缘两侧的像素的亮度值；进行非最大值抑制之后，使边缘变细；再对结果图像用滞后双阙值进行限定，即使用一个最小阙值和最大阙值除去结果中的不必要部分，最终得到一个合适的模板；S4基于形状的模板匹配；在S3中得到合适的模板之后，接下来就要对相机拍摄的目标图像根据模板进行匹配和识别；S5基于深度学习的针眼位置精确检测；考虑针眼识别的特定场景约束并采用逐步合并的方法划分候选区域，实现对图像中针眼所在位置的精确检测定位；S6机械臂手眼标定；对图像中针眼所在位置的精确检测定位后，机械臂控制器控制机械臂就会移动到相机识别出来的目标位置，进行穿线；S7反馈调节过程判断依据是针眼中是否有穿线器；根据穿线器成功穿过针眼时所训练的模型进行检测，当穿线器穿过针眼后，固线夹沿一个固定方向移动将所夹持的线架到穿线器上，完成机械臂归位，归位过程中穿线器勾着面线退出针眼，同时就使得面线穿过针眼，穿线流程结束。