[发明专利]一种基于3D视觉的自动穿鞋带方法及系统

说明书

本发明提供了一种基于3D视觉的自动穿鞋带方法及系统，属于智能制造技术领域，方法利用3D相机采集和构建待穿鞋孔目标工件3D点云，进行点云映射以及机械手眼坐标映射，并提出了一种精确的鞋孔3D位置提取方法，根据提取得到的鞋孔位置，规划穿孔路径规划，将路径发送给机器人；机器机械手按照上述得到的穿孔路径执行穿鞋带动作，将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。实现了智能化的鞋带穿孔，大幅度提高穿设鞋带的效率。

技术领域

本发明属于智能制造技术领域，具体涉及一种基于3D视觉的自动穿鞋带方法及系统。

背景技术

鞋子在制造完成且欲包装出厂之前，必须先将一鞋带穿设于鞋子的鞋孔中。此工序在以往都是以人工来执行，然而人工执行的缺点在于效率低以致于影响产能表现。为了解决人工穿鞋带存在的问题，目前已有一种自动穿鞋带的方法，该方法是借由一接触式三维扫描装置触碰一鞋子的多个鞋孔，以量测所述鞋孔的坐标位置，并将所述坐标位置传输至一主机以供该主机根据所述坐标位置控制一机械手臂将鞋带穿设于所述鞋孔中。虽然上述自动穿设鞋带方法的效率以及产能相较于以往以人工穿设鞋带的方式大幅提高，但是有些鞋子的表面通常是以较柔软的材质所制成，在量测鞋孔的坐标位置时，鞋子的表面会因扫描装置的探测针头的触碰而造成形变。而待测物的形变会导致扫描装置所量测到的坐标位置产生误差，需反复扫描鞋子以确定鞋孔位置，导致作业时间增加。因此，需要进一步提升检测鞋孔坐标位置准确性，以提高自动穿设鞋带的效率是此技术领域的相关技术人员所待克服的难题。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种基于3D视觉的自动穿鞋带方法及系统。本发明是通过以下技术方案实现的：

一种基于3D视觉的自动穿鞋带方法，具体包含如下步骤：

步骤1，将待穿鞋孔的鞋上料到工位；

步骤2，对双目3D相机进行标定后对上述工位上目标进行图像采集，并对采集得到的图像执行畸变矫正预处理；定义双目3D相机其中一个相机为1号相机，另一个相机为2号相机；

步骤3，对两个3D相机的3D重建得到鞋目标工件的3D点云；具体包含：

步骤3.1目标工件有效区域提取，为减小计算量，在结构光解码与后续点云构建过程只考虑工件有效区域。对图像中的鞋子目标工件所在区域进行提取，剔除背景；

步骤3.2基于绝对相位的立体匹配，鞋子目标工件图像有效区域的像素经过解码后，依据图像像素的编码值，左相机图像的每个像素点找到右相机中与其相对应的点，作为视差计算与视差细化的输入；

视差计算：根据双目相机图像的对应点对坐标，计算初始视差值；根据初始视差值与其邻域信息，拟合二次曲线，计算亚像素视差；

步骤3.3像素与点云映射：将视差信息映射到深度信息，根据深度信息计算得到像素对应的空间坐标，多个三维空间点构成目标工件的3D点云集合。

步骤4，将3D点云对齐映射到1号相机；

得到的双目3D点云由于均是当前拍摄相机坐标系下得到的，因而3D点云数据是分散的，不是一个整体；将2号相机的数据变换映射至1号相机的坐标下，在一个坐标系下形成连续完整的3D点云数据；

步骤5：对采用的1号相机和机器手臂进行手眼标定；根据使用的1号相机与机械臂是相对分离的状态，通过设置标定板，利用机械手坐标系、相机坐标系、标定物坐标系确定相机得到的像素坐标系和空间机械手坐标系的坐标转化关系；该手眼标定为现有技术，本申请不做赘述。

步骤6：根据相机1拍摄得到的点云图像进行鞋孔3D位置提取；

步骤6.1利用1号相机得到得到的二维图像进行圆孔定位，对二维图像进行二值化处理得到鞋面二值图，之后经过Canny算子进行轮廓提取；