[发明专利]一种智能柜动态识别方法及装置

说明书

本申请涉及无人售货柜技术领域，公开了一种智能柜动态识别方法及装置，其方法包括在本地逐帧获取商品图像；获取当前帧与上一帧的商品图像中商品的距离矩阵；获取当前帧与上一帧的商品图像中商品的交并比矩阵；获取当前帧与上一帧的商品图像中商品的外观矩阵；将距离矩阵、交并比矩阵和外观矩阵进行加权融合，得到代价矩阵；基于代价矩阵，采用KM算法得到商品图像中上一帧商品与当前帧商品的对应关系；根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存。本申请具有更快得到动态视觉柜的商品计数结果，提高商品计数结果准确率的效果。

技术领域

本申请涉及无人售货柜技术领域，尤其是涉及一种智能柜动态识别方法及装置。

背景技术

目前，常见的无人售货柜有RFID智能柜、静态图像柜、重力柜以及动态视觉柜。其中，RFID智能柜依赖于粘贴RFID无线标签，其人力成本及标签成本很高；静态图像柜需要在每个货架安装摄像头，硬件成本高，且对货品摆放有一定的要求，空间利用率低；重力柜需要在每个货架安装重力感应装置，设备成本高，且无法判断重量相近的商品。动态视觉柜通过柜体上方的两个摄像头，开门后开始录视频，关门后停止录视频，将视频上传到云端，智能识别顾客拿取和放回商品的动作，判断顾客实际取出的商品并进行扣费，识别技术成本低，极大地降低了运营成本。

一般地，动态视觉柜的动态视觉方案分为以下几种：

1)基于每段视频中所有帧的检测结果，设定一个概率阈值，过滤掉置信度不高的视频帧结果，在剩余结果中统计出概率最高的检测结果，并把该结果作为最后的商品的识别结果；

2)对用户的手部进行生物识别，判断手部相对于无人售货柜门的运动方向，根据所述运动方向、所述临时商品列表信息以及所述更新后的临时购物车信息判定购物状态，得到最终购物结果；

3)基于该物品检测信息集合中的物品检测信息，生成候选轨迹集，进而得到融合轨迹集，生成物品拿取信息组集。

针对上述现有技术，发明人发现现有的动态视觉柜的动态视觉方案需要录制视频上传云端，再识别完所有图片帧商品信息才能对商品的剩余库存进行计数，无法快速得到计数结果，且商品计数结果不准确。

发明内容

为了更快得到动态视觉柜的商品计数结果，提高商品计数结果的准确率，本申请提供了一种智能柜动态识别方法及装置。

第一方面，本申请提供一种智能柜动态识别方法。

本申请是通过以下技术方案得以实现的：

一种智能柜动态识别方法，包括以下步骤，

在本地逐帧获取商品图像；

获取当前帧与上一帧的所述商品图像中商品的距离矩阵；

获取当前帧与上一帧的所述商品图像中商品的交并比矩阵；

获取当前帧与上一帧的所述商品图像中商品的外观矩阵；

将所述距离矩阵、所述交并比矩阵和所述外观矩阵进行加权融合，得到代价矩阵；

基于所述代价矩阵，采用KM算法得到商品图像中上一帧商品与当前帧商品的对应关系；

根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于所述判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存。

本申请在一较佳示例中可以进一步配置为：所述根据预设的判定轴，判断商品图像中上一帧商品与当前帧商品是否位于所述判定轴的不同侧，并结合上一帧商品与当前帧商品的对应关系，更新商品的剩余库存的步骤包括，

当商品图像中上一帧商品与当前帧商品位于所述判定轴的不同侧时，判断上一帧商品与当前帧商品的位置变化情况；