[发明专利]一种基于孪生神经网络的智能货物监管方法及系统

说明书

本发明涉及一种基于孪生神经网络的智能货物监管方法及系统。该方法包括获取待检测的货架图像；所述待检测的货架图像基于工业相机拍摄仓储内每个货架的图像；在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像；所述标准货架图像为货架处于满仓状态，且货物陈列符合设定要求；根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果；所述检测结果包括：各类货物的库存量和所在位置、货架上的空闲仓位数量以及货物是否符合仓储的摆放要求；本发明实现仓储货物的智能化监管。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种基于孪生神经网络的智能货物监管方法及系统。

背景技术

智能仓储作为现代物流产业发展的核心环节，对推动中国物流产业的智慧化升级起着至关重要的作用。然而现存的仓储系统在入库货物的监管等方面普遍存在效率低下、出错率高等问题，严重阻碍了仓储系统的智能化发展，因此亟需一种高效可靠的智能化货物监管方法。

发明内容

本发明的目的是提供一种基于孪生神经网络的智能货物监管方法及系统，实现仓储货物的智能化监管。

为实现上述目的，本发明提供了如下方案：

一种基于孪生神经网络的智能货物监管方法，包括：

获取待检测的货架图像；所述待检测的货架图像基于工业相机拍摄仓储内每个货架的图像；

在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像；所述标准货架图像为货架处于满仓状态，且货物陈列符合设定要求；

根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果；所述检测结果包括：各类货物的库存量和所在位置、货架上的空闲仓位数量以及货物是否符合仓储的摆放要求；

根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果的过程为：

利用训练好的货物识别网络模型中的ResNet50网络提取所述待检测的货架图像以及对应的标准货架图像的货物特征；

利用训练好的货物识别网络模型中的特征金字塔网络FPN进行货物特征的特征融合和分层检测操作；

依次利用训练好的货物识别网络模型中的区域建议网络和ROI Pooling层输出一系列相同尺寸的候选区域特征图；

将候选区域特征图分别输入两层全连接层进行特征提取和分类后，再分别输入回归支路和分类支路，确定候选区域特征图所属的货物类别以及在货架上的位置信息；

根据候选区域特征图以及相应的位置信息，采用CNet网络，确定待检测的货架图像中各货物在货架上的储位编码；所述储位编码用于判断货物是否符合仓储的摆放要求；所述CNet网络包括：依次连接的两个卷积核为1*1的卷积层、一个全连接层和一个损失层；

根据候选区域特征图所属的货物类别以及在货架上的位置信息确定各类货物的库存量以及货架上的空闲仓位数量；

根据待检测的货架图像中各货物在货架上的储位编码判断货物是否符合仓储的摆放要求。

可选地，所述在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像，之前还包括：

构建仓储货物检测数据集；所述仓储货物检测数据集包括：标准货架图像库、常规货架图像库以及各图像对应的标注文件；所述常规货架图像库为基于工业相机拍摄仓储内每个货架的图像；所述标注文件为采用Labelme软件进行图像标注，在每张货架图像中标注出每个货物的类别、储位编码及位置框；

利用仓储货物检测数据集训练货物识别网络模型，确定训练好的货物识别网络模型。