[发明专利]一种基于3D视觉的自动穿鞋带方法及系统

权利要求书

1.一种基于3D视觉的自动穿鞋带方法，其特征在于包括如下步骤：

步骤1，将待穿鞋孔的鞋上料到工位；

步骤2，对双目3D相机进行标定后对上述工位上的目标进行图像采集，并对采集得到的图像执行畸变矫正预处理；双目3D相机其中一个相机为1号相机，另一个相机为2号相机；

步骤3，对两个3D相机采集数据重建得到鞋目标工件的3D点云；

步骤4，将3D点云对齐映射到1号相机；

步骤5：采用的1号相机对机器手臂进行手眼标定；

步骤6：根据相机1拍摄得到的点云图像进行鞋孔3D位置提取；

具体包含：步骤6.1利用1号相机得到的二维图像进行圆孔定位，对二维图像进行二值化处理得到鞋面二值图，之后经过Canny算子进行轮廓提取；

步骤6.2对提取得到的多个轮廓计算轮廓包含的面积S1，按照面积S1计算理论周长L1,计算轮廓的实际周长为L2，如果该轮廓为圆形，则L1与L2的偏差小于等于一定阈值M，若该轮廓为非圆形，则L1与L2的偏差大于一定阈值M；

在判断得到鞋孔圆形轮廓后，将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔，其他区域的圆形作为误检测鞋孔进行剔除；将二维上的圆孔区域映射到对应的3D点云区域上，则提取出了鞋孔的3D位置；

进一步，判断如果利用二维图像无法得到有效的鞋孔位置时，如出现鞋孔位置偏差很大，分散在多个区域的情况下，可以直接在3D点云上做处理；首先预估鞋孔在3D点云中的位置，然后单独取出此部分点云；将此部分点云拟合成一个平面，再将点云映射到平面上成二维点云，再将映射后的二维点云网格化成二维图像，二维图像上有数据的位置为黑色像素，没数据的位置为白色像素；

寻找二维图像中的白色封闭区域；将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔，其他区域的圆形作为误检测鞋孔进行剔除，得到提取出了鞋孔的3D位置；

步骤7：机器人机械手执行和完成穿鞋带，根据提取得到的鞋孔位置，规划穿孔路径规划，并将路径发送给机器人；机器机械手按照上述得到的穿孔路径执行穿鞋带动作，将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。

2.一种基于3D视觉的自动穿鞋带系统，系统中至少包含如下部件：穿鞋带工装（1）、机器手臂（2）、包含1号相机的3D视觉系统（3）以及包含2号相机的3D视觉系（4），该系统用于执行上述权利要求1所述的方法。

3.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1所述的方法。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1所述的方法。