[发明专利]一种基于机器视觉与深度学习耦合算法的实时监测方法

权利要求书

1.一种基于机器视觉与深度学习耦合算法的实时监测方法，其特征在于：包括以下步骤：

步骤1、在装有筒纱的支架上方布置倾斜朝下的激光器以及俯仰角由动力元件调节的RGB-D摄像机(4)；RGB-D摄像机(4)的镜头轴线与激光器(3)的轴线在同一竖直平面内；激光器发射激光束，在筒纱(2)端面上留下光斑；同时，RGB-D摄像机(4)发生转动，在不同的俯仰角下采集筒纱的RGB图像和深度图；

步骤2、对不同俯仰角下拍摄得到的RGB图像和深度图像进行图像处理，获得图像中光斑中心及各筒纱(2)中心的深度值，并提取出各筒纱(2)及其线轴的轮廓；

步骤3、计算光斑到激光器(3)的距离L_AP和光斑到RGB-D摄像机(4)的距离L_PB如下：

其中，L_AB与激光器(3)与RGB-D摄像机(4)的距离；L_PC为光斑中心的深度值，θ为激光器的俯仰角；

计算RGB图像中心与光斑中心的距离L_OP如下：

其中，L_OB为RGB图像中心的深度值；β为光斑中心至RGB成像镜头光学中心的连线与激光器至RGB成像镜头光学中心的连线之间夹角；

θ与β满足如下关系式：

构建筒纱(2)的边距l_i的表达式如下：

其中，l_O'P'为RGB图像中心与光斑中心的像素距离；d₁为线轴的像素直径；d₂为筒纱(2)的像素直径；

取不同俯仰角下拍摄图像计算出的边距l_i的平均值，作为视觉测量的筒纱边距l_s；

步骤4、利用经过训练的深度卷积神经网络识别筒纱边距，得到深度学习的筒纱边距l_n；

步骤5、融合视觉测量的筒纱边距l_s与视觉测量的筒纱边距l_s，构建融合的筒纱边距l_r如下：

l_r＝kl_s+l_n(1-k)

其中，k为权重系数，其表达式为：

其中，l_max表示筒纱的最大边距。

2.根据权利要求1所述的一种基于机器视觉与深度学习耦合算法的实时监测方法，其特征在于：步骤2中的图像处理包括以下步骤：

2-1.对RGB图像与深度图像进行对齐操作；

2-2.采集RGB图像中的光斑中心的像素坐标以及筒纱(2)的线轴中心像素坐标；

2-3.读取光斑中心及筒纱(2)的线轴中心在深度图上对应坐标的深度值；

2-4.提取RGB图像中的每个筒纱(2)的图像，得到多个子图像；通过边缘检测提取每一个子图像中筒纱(2)端面和线轴端面的轮廓，并将所得轮廓拟合为椭圆形；

2-5.将步骤(4)中拟合得到的椭圆形轮廓矫正为圆形。