[发明专利]一种基于深度学习的集装箱锁扣检测及预警方法

权利要求书

1.一种基于深度学习的集装箱锁扣检测及预警方法，其特征在于：所述方法包括以下步骤：

步骤一、利用箱角检测方法以及远角箱角的校准方法，获得集装箱近角箱角和远角箱角的准确位置；由于锁扣和箱角的关系是锁扣在箱角正下方，于是利用此几何关系来确定锁扣可能存在的位置；

所述箱角检测方法为将由摄像头实时获取的待检测集装箱图像，通过骨架网络和多核卷积网络的级联以及分类器与回归器网络建立一种基于深度学习的深度神经网络，即箱角检测模型，然后对箱角检测模型进行训练，最后得到图像中箱角存在的位置，并给出该位置为箱角的置信度；

所述远角箱角的校准方法包括以下步骤：

S1、利用拍摄视频的连续性信息，进行背景建模，提取集装箱的运动前景；

S2、在提取的运动前景中进行Hough线检测，快速检测出集装箱上存在的线段，并记录每一条线段的起点和终点；

S3、利用深度学习方法检测到的近角位置以及S2中检测到的直线，推算出远角的位置，具体推算过程为：由于Hough线检测会检测出大量的线段，首先将无关线段删除，然后对剩余的线段进行连通域分析，将相近的线段连成一个连通域，取连通域距离近角箱角最远的位置，以此位置作为远角箱角的右下角，按远角箱角和近角箱角的大小比例，得到远角箱角的长和宽，即得到远角箱角的位置；

步骤二、提取步骤一中获得的锁扣可能存在部位的图像，进行尺度变化到特定尺度；

步骤三、提取HOG特征得到特定维度的特征向量，再使用SVM分类器进行分类，判断锁扣是否存在；

步骤四、若存在锁扣，通过警示灯警示或警示音提醒进行报警，立即停止移动集装箱，并人为拆卸锁扣。

2.根据权利要求1所述的基于深度学习的集装箱锁扣检测及预警方法，其特征在于：所述远角箱角的校准方法S1中，背景建模的方法是帧差法，即将视频中相邻的两帧图像进行灰度化之后对应像素相减，在得到帧差后的灰度图像后，采用膨胀腐蚀方法，去除噪点，保留运动前景。

3.根据权利要求2所述的基于深度学习的集装箱锁扣检测及预警方法，其特征在于：所述远角箱角的校准方法S3中，无关线段的删除原则为：首先要保证线段具有一定长度，长度按照集装箱占图像的比例设置；再者要保留与集装箱近角外接矩形距离较近的部分；最后考虑到集装箱在移动过程中是保持正常形态的，不会出现倾斜或者翻转的情况，因此只保留倾斜角处于-25°～25°之内的线段；综合上述原则，将不符合规定的线段删除。

4.根据权利要求3所述的基于深度学习的集装箱锁扣检测及预警方法，其特征在于：所述远角箱角的校准方法S3中，远角箱角和近角箱角的大小比例通常取2:3。

5.根据权利要求4所述的基于深度学习的集装箱锁扣检测及预警方法，其特征在于：所述步骤一箱角检测方法具体包括以下步骤：

步骤I、从摄像头实时获取待检测集装箱图像并将其采用线性插值法进行尺寸变换至设定大小；

步骤II、通过骨架网络和多核卷积网络的级联以及分类器与回归器网络建立一种基于深度学习的深度神经网络，即箱角检测模型；然后对箱角检测模型进行训练，其训练方法为：

a、采集大量现实场景中的集装箱图像进行人工标注，框出存在箱角的位置，给出箱角区域的起点坐标和终点坐标，标注箱角的类别，进而得到数据样本；

b、将数据样本输入至建立的深度神经网络中进行特征提取与分类回归，得到箱角位置和箱角种类的置信度；

c、通过损失函数将获得的箱角位置和箱角类别的置信度与人工标注的结果进行对比，得到量化的结果，再通过深度神经网络中的梯度反向传导机制，自动调整深度神经网络中的各个神经元的权值，完成深度神经网络的训练；

步骤III、将尺寸变化后的图像输入预先训练好的箱角检测模型中进行箱角检测，得到图像中箱角存在的位置，并给出该位置为箱角的置信度。