[发明专利]智能柜排面识别方法、系统、设备及计算机可读介质

说明书

本申请公开了一种智能柜排面识别方法、系统、设备及计算机可读介质，该方法包括：获取待识别的智能柜排面的源图像，利用位置检测器识别源图像中所有柜体、货架层及商品的位置信息，生成对应的柜体边界框、货架层边界框及商品边界框；利用sku检测器识别指定的sku位置信息和sku类别属性，生成sku边界框；基于柜体边界框、货架层边界框、商品边界框及sku边界框，计算各边界框之间的重合度，以进行智能柜排面识别。本申请通过引入的位置检测器，可以避免由于拍照倾斜导致图像中存在多个智能柜并列、智能柜外堆放sku、柜门反光成像等干扰；通过采用位置检测器和sku检测器分别检测的方式，提高建模效率和整体识别精度。

技术领域

本申请涉及图像识别技术领域，尤其涉及一种智能柜排面识别方法、系统、设备及计算机可读介质。

背景技术

在快消领域中，对智能柜的数字化改造需求愈发强烈。由于投放的品牌智能柜的陈列情况将影响最终的公司业绩，因此需要及时掌握排面信息，传统的做法是品牌方派遣访店人员到品牌终端人工计算排面，或者通过手机拍照到服务器后端再人工计算排面。

随着图像识别技术的发展，针对上述问题，利用图像的目标检测方法可以很好提升排面计算的效率，大大提升智能柜终端的数字化能力。但是引入该方法时同样也带来了新的问题：由于摄像头安装于柜门上，随着开门角度的变化获取到的图像中包含多个同品牌或不同品牌的智能柜，会存在着智能柜外面有其他商品堆放或智能柜的玻璃门开门后反光等场景问题，进而干扰识别精度；此外，现有的图像目标检测方法是将位置信息和属性信息一起进行识别的，当多个品牌商来回切换时，标注效率就会大打折扣，不仅建模周期长，同时识别精度也难以保证。

发明内容

本申请的目的在于提供一种智能柜排面识别方法、系统、设备及计算机可读介质，以解决现有的利用图像的目标检测技术进行智能柜排面检测时存在的识别效率低下、识别精度无法保证的问题。

为实现上述目的，本申请提供一种智能柜排面识别方法，包括：

获取待识别的智能柜排面的源图像，利用位置检测器识别源图像中所有柜体、货架层及商品的位置信息，生成对应的柜体边界框、货架层边界框及商品边界框；

利用sku检测器识别指定的sku位置信息和sku类别属性，生成sku边界框；

基于柜体边界框、货架层边界框、商品边界框及sku边界框，计算各边界框之间的重合度，以进行智能柜排面识别。

进一步地，所述计算各边界框之间的重合度，包括：

计算商品边界框和sku边界框的第一重合度，当第一重合度大于第一预设值时，删除对应的商品边界框，将剩余商品边界框与所有sku边界框合并，得到合并边界框。

进一步地，所述计算各边界框之间的重合度，还包括：

将柜体边界框中面积最大的智能柜柜体作为目标柜体，计算所有货架层边界框与目标柜体的柜体边界框的第二重合度，当第二重合度大于第二预设值时，确定对应的货架层边界框属于目标柜体，计算目标柜体的货架层总数。

进一步地，所述计算各边界框之间的重合度，还包括：

计算目标柜体的货架层边界框与合并边界框的第三重合度，当第三重合度大于第三预设值时，确定合并边界框属于当前货架层，直至将所有合并边界框匹配至对应的货架层位置时，确定每层货架中的商品位置和类别、sku位置和类别，生成智能柜排面识别结果。

本申请还提供了一种智能柜排面识别系统，包括：

位置检测器识别单元，用于获取待识别的智能柜排面的源图像，利用位置检测器识别源图像中所有柜体、货架层及商品的位置信息，生成对应的柜体边界框、货架层边界框及商品边界框；