[发明专利]一种基于机器视觉和深度学习的集装箱特征智能识别方法

权利要求书

1.一种基于机器视觉和深度学习的集装箱特征智能识别方法，其特征在于：包括如下步骤：

步骤一、获取集装箱前后门、双侧面及顶面的RGB图像，并赋予采集到的图像指定的识别任务类型标签；

步骤二、根据指定的识别任务类型对步骤一采集的带有车号、箱号、铅封、危标、箱门方向、残损标签的图像数据进行识别检测，并生成与所采集图像对应的识别结果；其中：

(一)对带有车号、箱号标签的图像数据进行识别检测的方法为：先采用DBNet算法提取出图像数据的字符识别区域，再采用CRNN算法对字符识别区域进行字符识别；其中：

(1)采用DBNet算法提取字符识别区域的流程包括：第一步、对图像数据经过特征提取和上采样融合并操作得到特征图；第二步、通过特征图预测出概率图；第三步、结合概率图和特征图预测出阈值图；第四步、通过概率图和阈值图计算出近似二值图；其中：按如下公式计算DBNet算法的损失：

LOSS＝L_s+α×L_b+β×L_t

其中，L_s是概率图的损失值，L_b是二值图的损失值，L_t是阈值图的损失值，α和β的取值范围为1.0到10.0；

(2)CRNN算法的网络结构包括：使用两个卷积层跟随两个池化层，卷积层用于对输入的图像提取特征，得到特征图；双箱RNN对特征序列进行预测，对序列中的每个特征向量进行学习；两个全连接层中间包含两个GRU层，最后通过concatenate层进行多个卷积特征融合；然后将网络的输出结果做Softmax后为字符输出；其中：

1)CRNN算法的目标函数为：

式中，x＝{I_i，l_i}_i，I_i表示训练集，l_i表示标签为真的序列，y_i是由I_i中的递归层和卷积层生成的序列；

2)GRU的输入输出结构为：当有一个当前输入x^t，和上一个节点传递下来的隐状态h^t-1，GRU获得当前隐藏节点的输出y^t和传递给下一个节点的隐状态h^t；通过上一个传输下来的状态h^t-1和当前节点的输入x^t来获取两个门控的状态，控制重置门控r和控制更新的门控z；在得到门控信号之后，首先使用控制重置门控r来重置之后的数据h^t-1′＝h^t-1⊙r，再将h^t-1′与输入x^t进行拼接，再通过tanh激活函数来将数据缩放到-1～1的范围内，最终得到在更新记忆阶段同时进行了遗忘记忆两个步骤，使用控制更新的门控z得到：

h^t＝(1-z)⊙h^t-1+z⊙h‘

其中，(1-z)⊙h^t-1：表示对原本隐藏状态的选择性遗忘，z⊙h‘表示对包含当前节点信息的h‘进行选择性记忆；

(二)采用YOLOv4算法对带有铅封、危标、箱门方向、残损标签的图像数据进行识别检测，其损失函数为：

(1)

其中，

式中的w^gt、h^gt分别表示真实框的宽和高，w^p、h^p分别表示预测框的宽和高，表示真实框之间的距离，表示预测框之间的距离，C表示最小外接矩形；

(2)DIOU_nms的公式为：

式中的B_i表示考虑IOU和两个box到中心点的距离从而被移除的box，S_i表示分类指数，ε为NMS阈值；

步骤三、对步骤二生成的识别结果进行复核。

2.根据权利要求1所述的一种基于机器视觉和深度学习的集装箱特征智能识别方法，其特征在于：步骤三所述对识别结果进行复核的方法为：根据设定的阈值和校验规则、置信度对识别结果进行复核，若复核后的结果不满足设定的阈值则进入异常处理阶段，在可视化用户交互界面中弹出人工干预窗口进行人工校验。

3.根据权利要求2所述的一种基于机器视觉和深度学习的集装箱特征智能识别方法，其特征在于：复核后的结果以带有时间戳的任务号作为索引，匹配并按照要求的格式通过指定的通讯方式发送到码头的终端运维系统中，索引的组成为设备号+时间戳的格式。