[发明专利]一种基于孪生神经网络的智能货物监管方法及系统

权利要求书

1.一种基于孪生神经网络的智能货物监管方法，其特征在于，包括：

获取待检测的货架图像；所述待检测的货架图像基于工业相机拍摄仓储内每个货架的图像；

在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像；所述标准货架图像为货架处于满仓状态，且货物陈列符合设定要求；

根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果；所述检测结果包括：各类货物的库存量和所在位置、货架上的空闲仓位数量以及货物是否符合仓储的摆放要求；

根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果的过程为：

利用训练好的货物识别网络模型中的ResNet50网络提取所述待检测的货架图像以及对应的标准货架图像的货物特征；

利用训练好的货物识别网络模型中的特征金字塔网络FPN进行货物特征的特征融合和分层检测操作；

依次利用训练好的货物识别网络模型中的区域建议网络和ROI Pooling层输出一系列相同尺寸的候选区域特征图；

将候选区域特征图分别输入两层全连接层进行特征提取和分类后，再分别输入回归支路和分类支路，确定候选区域特征图所属的货物类别以及在货架上的位置信息；

根据候选区域特征图以及相应的位置信息，采用CNet网络，确定待检测的货架图像中各货物在货架上的储位编码；所述储位编码用于判断货物是否符合仓储的摆放要求；所述CNet网络包括：依次连接的两个卷积核为1*1的卷积层、一个全连接层和一个损失层；

根据候选区域特征图所属的货物类别以及在货架上的位置信息确定各类货物的库存量以及货架上的空闲仓位数量；

根据待检测的货架图像中各货物在货架上的储位编码判断货物是否符合仓储的摆放要求；

根据分类损失函数、回归损失函数和联合对比损失函数确定所述训练好的货物识别网络模型的损失函数值；

所述CNet网络中的损失层的联合对比损失函数，具体包括：

；

；

其中，为联合对比损失函数，d为两个分别来自待检测的货架图像和标准货架图像的货物之间的相似度，d为候选区域特征图f_n的欧氏距离与货物位置中心点坐标c_n的欧氏距离之和，x为两个分别来自待检测的货架图像和标准货架图像的货物对应的储位编码是否相同的标签，x=1代表来自待检测的货架图像和标准货架图像的货物对应的储位编码相同，x=0则代表待检测的货架图像和标准货架图像中两个货物对应的储位编码不相同，m为设定的阈值，为待检测的货架图像的候选区域特征图，为货物位置中心点坐标，为标准货架图像的候选区域特征图的坐标，n为第n个候选区域特征图，N为候选区域特征图的总数，为标准货物位置中心点坐标。

2.根据权利要求1所述的一种基于孪生神经网络的智能货物监管方法，其特征在于，所述在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像，之前还包括：

构建仓储货物检测数据集；所述仓储货物检测数据集包括：标准货架图像库、常规货架图像库以及各图像对应的标注文件；所述常规货架图像库为基于工业相机拍摄仓储内每个货架的图像；所述标注文件为采用Labelme软件进行图像标注，在每张货架图像中标注出每个货物的类别、储位编码及位置框；

利用仓储货物检测数据集训练货物识别网络模型，确定训练好的货物识别网络模型。

3.根据权利要求1所述的一种基于孪生神经网络的智能货物监管方法，其特征在于，所述ResNet50网络包括：五个依次连接的卷积块。

4.根据权利要求1所述的一种基于孪生神经网络的智能货物监管方法，其特征在于，所述待检测的货架图像以及对应的标准货架图像的尺寸均为1024×1024。