[发明专利]一种基于深度学习的冰柜库存情况监督识别方法

说明书

本发明公开了一种基于深度学习的冰柜库存情况监督识别方法，涉及计算机视觉和智能识别技术领域。对冰柜排面照片以层、节或框为单位，进行标注；以基于深度学习的目标检测方法训练模型，将层、节或框作为检出单位，其类别为满、半满和空；将建立好的算法模型部署在云端或冰柜端，对冰柜拍摄的照片进行识别，得到冰柜库存情况，对其进行监督识别。实现计算机视觉中深度学习和卷积神经网络在零售商品销售中冰柜库存情况监督识别技术领域的应用。可对冰柜库存情况进行实时、客观监督监控；无需额外的硬件，成本低、定性好，提高冰柜库存情况的监督识别效果。

技术领域

本发明涉及计算机视觉和智能识别技术领域，尤其涉及一种基于深度学习的冰柜库存情况监督识别方法。

背景技术

零售商品销售中，冰柜(包括立式冰柜和卧式冰柜等)是一个重要场景，而对冰柜内商品进行监督分析是零售端商品销售的重要需求，其在零售场景中具有重要应用，比如对冰柜内商品情况进行监督，当冰柜内商品不足或缺货时进行提示或报警等等。

目前的零售场景冰柜库存监督识别，主要依赖销售人员观察，或业务代表亲临现场进行监督，其具有以下缺点：1.不能进行实时监督，无法在货物不足或者缺货时，第一时间告知相关人员或报警；2.严重依赖相关人员，对人员素质要求高，还存在不够客观的缺点。

最近，随着科技的发展，相关领域也出现了一些自动化的方法，这些方法具有以下缺点：1.方案需要加入一些额外的硬件，提升了成本，稳定性也是较大问题；2.相关方案易受干扰，准确率受到限制。

目前，这些针对零售场景冰柜进行库存监督的方法，通常要么人为进行监督，难以在货物不足或缺货时第一时间反馈信息，提醒相关人员进行补货；要么需要额外的硬件投入，稳定性不足，准确率也受到一定限制，从而导致库存监督结果不尽人意，不能满足客户的相关需求。

因此，本领域的技术人员致力于开发一种基于深度学习的冰柜库存情况监督识别方法，解决冰柜库存情况监督识别中的问题，可对冰柜库存情况实时、客观监督监控；无需额外的硬件，成本低、稳定性好，提高冰柜库存情况的监督识别效果。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是人工查看冰柜库存情况监督，判断标准具有主观性，不能及时反馈，实时性不好；其他智能方法进行实时监督，需要额外的硬件，稳定性不够，易受其他因素干扰，准确率受到限制的问题。

为实现上述目的，本发明提供了一种基于深度学习的冰柜库存情况监督识别方法，包括以下步骤：

步骤1、对采集到的所述冰柜排面照片进行矫正；

步骤2、对矫正后的所述冰柜排面照片进行检出单元标注，并根据所述检出单元的库存情况进行分类；

步骤3、利用标注的数据，使用目标检测框架，训练检出识别模型；

步骤4、训练过程中，利用验证集检验训练的模型效果，若效果达到预定需求，则停止模型训练，得到算法模型；

步骤5、使用测试集对得到的所述算法模型进行最终测试，若测试合格，则投入使用；如果测试不合格，则回到所述步骤3，对所述算法模型进行重新训练；

步骤6、将得到的所述算法模型部署，对冰柜排面情况采集得到的照片，使用算法即可得到冰柜的库存状态。

进一步地，所述步骤1采集所述冰柜排面照片的方法包括人为拍摄，安装在冰柜上的摄像头拍摄。

进一步地，所述步骤1对采集到的所述冰柜排面照片进行去畸变操作。

进一步地，所述步骤2检出单元包括冰柜的层、节、框。

进一步地，所述步骤2标注方法包括：bounding box标注方法、加入旋转角度的rotated bounding box标注方法、多边形标注方法、mask标注方法。