[发明专利]一种无人售货架监控方法、装置、电子设备及系统

说明书

本发明实施例提供了一种无人售货架监控方法、装置、电子设备及系统，该方法包括：当在购物区域内检测到目标用户时，依次确定目标用户在各帧图像中的手部位置和手部状态，手部状态包括：目标用户的手部所持有商品的数量；基于手部位置与无人售货架的边缘线的位置关系，检测目标用户是否发生预定操作，预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；当检测到目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定目标用户拿取/放置商品的数量；基于每次确定出的目标用户拿取/放置商品的数量，更新目标用户所拿取商品的目标数量。通过本发明实施例提供的技术方案，可以有效地对无人售货架进行监控。

技术领域

本发明涉及视频监控技术领域，特别是涉及一种无人售货架监控方法、装置、电子设备及系统。

背景技术

随着科学技术的发展，无人售货架的应用范围越来越广。例如，无人售货架可以利用到超市、办公室、校园、食堂、商场等。

无人售货架没有工作人员的管理，为了确保无人售货架中摆放的商品能够正常有序地销售，需要对无人售货架进行监控。例如，需要监控用户进入无人售货架对应的购物区域后，用户所拿取商品的数量等，该购物区域包含货架所在的区域和用户在选择货架上摆放的商品时所在的区域。可见，如何对无人售货架进行有效地监控，是一个亟待解决的问题。

发明内容

本发明实施例的目的在于提供一种无人售货架监控方法、装置、电子设备及系统，以有效地监控对无人售货架进行。具体技术方案如下：

第一方面，本发明实施例一种无人售货架监控方法，应用于监控系统，所述监控系统包括图像采集设备，所述图像采集设备的采集区域包括预定的购物区域，所述方法包括：

当在所述购物区域内检测到目标用户时，依次确定所述目标用户在各帧图像中的手部位置和手部状态，所述各帧图像为所述图像采集设备采集的包含所述目标用户的图像，所述手部状态包括：所述目标用户的手部所持有商品的数量；

基于所述手部位置与无人售货架的边缘线的位置关系，检测所述目标用户是否发生预定操作，所述预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；

当检测到所述目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定所述目标用户拿取/放置商品的数量；

基于每次确定出的所述目标用户拿取/放置商品的数量，更新所述目标用户所拿取商品的目标数量。

可选的，所述方法还包括：

当在所述购物区域内检测到目标用户时，基于所述图像采集设备实时采集的图像，构建所述目标用户的关于头肩位置的运动轨迹，所述运动轨迹中的头肩位置关联有手部位置，任一头肩位置与所关联的手部位置为从同一图像中所确定的且属于同一身体区域；

所述依次确定所述目标用户在各帧图像中的手部位置和手部状态的步骤，包括：

将所述运动轨迹中头肩位置所关联的手部位置，作为所述目标用户在各帧图像中的手部位置；

基于所述目标用户在各帧图像中的手部位置，确定所述各帧图像中的手部图像；

对所确定的各个手部图像进行手部状态识别，得到所述目标用户在所述各帧图像中的手部状态。

可选的，所述构建所述目标用户的关于头肩位置的运动轨迹，包括：

对所述图像采集设备持续采集的图像进行头肩检测和手部检测，得到头肩位置和所述头肩位置对应的手部位置；任一头肩位置对应的手部位置与该头肩位置属于同一身体区域；

基于所得到的头肩位置，对所述目标用户进行位置跟踪，得到所述目标用户的关于头肩位置的运动轨迹；