[发明专利]一种无人售货架监控方法、装置、电子设备及系统

权利要求书

1.一种无人售货架监控方法，其特征在于，应用于监控系统，所述监控系统包括图像采集设备，所述图像采集设备的采集区域包括预定的购物区域，所述方法包括：

当在所述购物区域内检测到目标用户时，依次确定所述目标用户在各帧图像中的手部位置和手部状态，所述各帧图像为所述图像采集设备采集的包含所述目标用户的图像，所述手部状态包括：所述目标用户的手部所持有商品的数量；

基于所述手部位置与无人售货架的边缘线的位置关系，检测所述目标用户是否发生预定操作，所述预定操作为手部穿入边缘线且手部穿入边缘线后穿出边缘线；

当检测到所述目标用户发生预定操作时，基于本次预定操作发生过程中各个手部状态所包括的数量的变化，确定所述目标用户拿取/放置商品的数量；

基于每次确定出的所述目标用户拿取/放置商品的数量，更新所述目标用户所拿取商品的目标数量。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当在所述购物区域内检测到目标用户时，基于所述图像采集设备实时采集的图像，构建所述目标用户的关于头肩位置的运动轨迹，所述运动轨迹中的头肩位置关联有手部位置，任一头肩位置与所关联的手部位置为从同一图像中所确定的且属于同一身体区域；

所述依次确定所述目标用户在各帧图像中的手部位置和手部状态的步骤，包括：

将所述运动轨迹中头肩位置所关联的手部位置，作为所述目标用户在各帧图像中的手部位置；

基于所述目标用户在各帧图像中的手部位置，确定所述各帧图像中的手部图像；

对所确定的各个手部图像进行手部状态识别，得到所述目标用户在所述各帧图像中的手部状态。

3.根据权利要求2所述的方法，其特征在于，所述构建所述目标用户的关于头肩位置的运动轨迹，包括：

对所述图像采集设备持续采集的图像进行头肩检测和手部检测，得到头肩位置和所述头肩位置对应的手部位置；任一头肩位置对应的手部位置与该头肩位置属于同一身体区域；

基于所得到的头肩位置，对所述目标用户进行位置跟踪，得到所述目标用户的关于头肩位置的运动轨迹；

针对所述运动轨迹中的每一头肩位置，将该头肩位置对应的手部位置，与该头肩位置进行关联。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述手部状态还包括：所述目标用户手部所持有的用户终端对应的操作状态，所述操作状态用于表征所述用户终端是否扫码；所述方法还包括：

基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作；

如果是，将当前的目标数量发送至所述用户终端，以使所述用户终端将所接收到的目标数量显示在支付界面中，其中，所述支付界面为所述用户终端执行扫码操作后所显示的界面。

5.根据权利要求4所述的方法，其特征在于，所述基于所确定的操作状态，判断所述目标用户手部所持有的用户终端是否执行扫码操作的步骤，包括：

基于所述操作状态，统计所述目标用户持续利用所述用户终端扫码的帧数；判断统计所得到的帧数是否大于预设扫码帧数；

若为是，判定所述目标用户所持有的用户终端执行扫码操作。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端未执行过扫码操作，判断当前的目标数量是否大于0；

若为是，输出第一报警信息，所述第一报警信息用于提示所述目标用户执行扫码操作。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在监测到所述目标用户离开所述购物区域时，如果判定出所述目标用户所持有的用户终端已执行扫码操作，判断是否获取到所述用户终端发送的支付完成信息；

若为否，输出第二报警信息，所述第二报警信息用于提示所述目标用户完成支付操作。