[发明专利]一种商品取放识别方法、装置、系统及设备

说明书

本申请提供一种商品取放识别方法、装置、系统及设备，包括：接收到重力检测设备上报的货格信息，并基于货格信息确定目标货格取或放商品及其数量；依据所述重量变化的目标时间，从至少一个目标监控设备所采集的视频流中获取目标视频流；从所述目标视频流中识别出与所述目标货格关联的目标手部对象、以及所述目标手部对象取或放的商品及其数量；若所述目标手部对象取或放的商品及其数量与目标货格被取或放的商品及其数量匹配，将目标手部对象对应的目标用户标识与目标货格被取或放的商品及其数量关联。使用本申请提供的方法可以提高商品取放识别的准确性。

技术领域

本申请涉及图像处理领域，尤其涉及一种商品取放识别方法、装置、系统及设备。

背景技术

随着电子支付技术、身份感知技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。

在无人超市项目中，电子设备需要准确识别用户从货格上取或放的商品及其数量，以自动更新用户的虚拟购物车的商品信息，并基于虚拟购物车实现为客户的自动结算。

因此，如何准确识别用户取或放的商品及其数量就成为亟待解决的问题。

发明内容

有鉴于此，本申请提供一种商品取放识别方法、装置、系统及电子设备，用于提高商品取放识别的准确性。

具体地，本申请是通过如下技术方案实现的：

根据本申请的第一方面，提供一种商品取放的识别方法，所述方法应用于电子设备，包括：

接收到重力检测设备上报的货格信息：所述货格信息包括：配备有所述重力检测设备的目标货格的目标货格标识、目标货格发生重量变化的目标时间、重量变化后的目标货格重量；所述货格信息是所述重力检测设备在检测到所述目标货格的重力发生变化后上报的；

基于所述目标货格标识、所述重量变化后的目标货格重量，确定目标货格被取或放的商品及其数量；

依据所述目标时间，从至少一个目标监控设备所采集的视频流中获取目标视频流；所述目标视频流包括：采集时间在目标时间之后的至少一组第一预设数量图像帧、和/或采集时间在目标时间之前的至少一组第二预设数量图像帧；目标监控设备至少用于采集所述目标货格所处区域的视频流；

从所述目标视频流中识别出与所述目标货格关联的目标手部对象、以及所述目标手部对象取或放的商品及其数量；

若所述目标手部对象取或放的商品及其数量与目标货格被取或放的商品及其数量匹配，将目标手部对象对应的目标用户标识与目标货格被取或放的商品及其数量关联。

可选的，所述基于所述目标货格标识、所述重量变化后的目标货格重量，确定目标货格被取或放的商品及其数量，包括：

在预设的货格标识、商品标识、单件商品重量、货格原有重量的对应关系中，查找所述目标货格标识对应的商品标识、单件商品重量和货格原有重量；

基于查找到的货格原有重量和所述重量变化后的目标货格重量，确定所述目标货格的重量变化量；

基于所述货格的重量变化量和查找到的单件商品重量，确定商品数量；

将查找到的商品标识和确定出的商品数量作为该目标货格被取或放的商品及其数量。

可选的，从所述目标视频流中识别出与所述目标货格关联的目标手部对象，包括：

在预设的货格标识与货格顶点三维坐标信息的对应关系中，查找与所述目标货格标识对应的目标货格顶点三维坐标信息，基于所述目标货格顶点三维坐标信息，确定所述目标货格对应的目标三维区域；

获得从所述目标视频流的每一帧视频图像中识别出的手部对象的手部对象三维坐标信息，将手部对象三维坐标信息处于所述目标三维区域中的手部对象确定为所述目标手部对象。