[发明专利]一种基于机器视觉与深度学习耦合算法的实时监测方法

说明书

本发明公开了一种基于机器视觉与深度学习耦合算法的实时监测方法；该方法包括以下步骤：1、激光器发射激光束，在筒纱端面上留下光斑。同时，RGB‑D摄像机发生转动，在不同的俯仰角下采集筒纱的RGB图像和深度图。2、对不同俯仰角下拍摄得到的RGB图像和深度图像进行图像处理，获得图像中光斑中心及各筒纱中心的深度值，并提取出各筒纱及其线轴的轮廓。3、计算视觉测量的筒纱边距；4、计算深度学习的筒纱边距；5、融合视觉测量的筒纱边距与视觉测量的筒纱边距。本发明采集不同视角下的RGB图像和深度图像；然后对这些所采集的图像分别采用计算机视觉方法测量各个筒纱端面边距，并取平均值，能够有效地减少线卷边距的跳动误差。

技术领域

本发明属于纺织参数检测技术领域，具体涉及一种基于机器视觉与深度学习耦合算法的实时监测方法。

背景技术

筒纱端面边距自动检测是纺织领域的核心问题之一。在纺织企业中，支架通常分布20～ 30排，工人将筒纱放在支架上，将线头穿过导管放入织机。在织造过程中，工人巡视并查看筒纱的端面并更换用完的筒纱。这种方法不仅效率低下，而且还会产生如因为张力而断线很难及时发现的问题，并有可能导致更为严重的后果。面对这个问题一个比较常用的解决方案是采用基于传感器检测张力的方法，但是一个工厂有上千个筒纱，需要上千个传感器，而且对每个传感器的维护同样需要大量的人工成本，所以这种方法的经济效益相对不高。

针对传统基于线张力的检测方法存在成本高、可靠性低等缺点，本发明提出一种在导轨上安装移动机器视觉检测装置，将计算机视觉检测筒纱端面边距和深度学习检测筒纱边距相融合，并运用卡尔曼滤波器消除两种边距测量方式所产生的误检测，实现对筒纱端面边距的精确检测。安装有RGB-D摄像机的移动平台沿着导轨移动巡航，并根据相应的检测控制指令移动到相应的位置进行筒纱的图像采集和筒纱端面边距的在线检测。本发明所提方法能够适用于各种筒纱的边距测量，极大地提高了纺织企业的生产效率，降低了生产成本。

发明内容

为了解决传统通过人工对筒纱线程辨别存在的成本高，效率低、可靠性差等缺点，实现对筒纱端面边距的快速、精确检测，提高纺织企业的生产效率，降低生产成本。本发明提出一种基于机器视觉与深度学习耦合算法的实时监测方法。

该基于机器视觉与深度学习耦合算法的实时监测方法，包括以下步骤：

步骤1、在装有筒纱的支架上方布置倾斜朝下的激光器以及俯仰角由动力元件调节的RGB-D摄像机；RGB-D摄像机的镜头轴线与激光器的轴线在同一竖直平面内。激光器发射激光束，在筒纱端面上留下光斑。同时，RGB-D摄像机发生转动，在不同的俯仰角下采集筒纱的RGB图像和深度图。

步骤2、对不同俯仰角下拍摄得到的RGB图像和深度图像进行图像处理，获得图像中光斑中心及各筒纱中心的深度值，并提取出各筒纱及其线轴的轮廓。

步骤3、计算光斑到激光器的距离L_AP和光斑到RGB-D摄像机的距离L_PB如下：

其中，L_AB与激光器与RGB-D摄像机的距离；L_PC为光斑中心的深度值，θ为激光器的俯仰角；

计算RGB图像中心与光斑中心的距离L_OP如下：

其中，L_OB为RGB图像中心的深度值；β为光斑中心至RGB成像镜头的光学中心的连线与激光器至RGB成像镜头光学中心的连线之间夹角；

θ与β满足如下关系式：

构建筒纱的边距l_i的表达式如下：