[发明专利]开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质

说明书

本申请实施例公开了一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质，该方法包括：获取对应多个货道的第一图像数据；识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。本申请实施例的技术方案仅依靠低分辨率、低帧率的图像传感器以及低运算能力的处理器就能完成无人货柜的商品状态的监控，并完成自动支付，在大幅提升用户体验的同时可有效降低软硬件成本。

技术领域

本申请涉及智能零售终端领域，特别涉及一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质。

背景技术

传统的无人货柜采取封闭式的结构，用户在支付前不能接触商品，支付后由内部的机械装置将商品推送到取货口。这种无人货柜，或称为自动贩卖机，因其结构简单、成本低廉，已经在各种公共场所有了广泛的应用。但这种传统的无人货柜用户无法观察挑选商品，支付后的验货、出货、取货等步骤机器故障导致交易失败的风险完全由用户承担，用户体验不佳。

随着人工智能技术的发展，越来越多的传统行业正在使用智能的方法来提升效率和用户体验，现有技术中也出现了用户体验更舒适的开放式无人货柜。这种开放式无人货柜允许消费者只需要打开柜门，抓取并带走想要的商品，货柜就能自动完成支付。现有的开放式无人货柜由商家承担验证交易的风险，一般使用基于人工智能的图像处理技术完成对消费行为的监控，保证取走的商品完成了对应的支付。目前存在的一些技术包括，在柜门处或柜门附近安装一个或多个图像传感器，通过对柜门的以及商品区域进行监控和识别来判定柜门的开关状态；进一步，通过对柜门处消费者的动作进行监控来识别消费者行为，例如通过对消费者的手势进行识别，从而判断消费者是否取走了一件商品；进一步，通过对消费者手部关联的图像进行识别，判断消费者取走了哪件商品。

但是，发明人在实现本申请的过程中发现，现有的开放式无人货柜的监控压力较大而效果并不理想。比如，安装在柜门处的图像传感器可能由于角度的问题使得在手部遮挡商品的时候产生误判，无法识别被取走的商品。又或者，图像传感器的帧率有限，在速度极快的情况下也可能造成误判。此外，对柜门、人手和商品等复杂物体的识别需要非常高的计算复杂度，同时由于实时性的需求，识别模块无法安装在云端，因此每个无人货柜都需要安装高性能运算模块，例如GPU模块，这意味着产品的成本激增。

发明内容

有鉴于此，本申请的主要目的在于提供一种开放式无人货柜的自动监控方法、装置、电子设备及计算机可读存储介质，以在大幅提升用户体验的同时有效降低软硬件成本。

为达到上述目的，本申请的技术方案是这样实现的：

在本申请实施例的一个方面，提供了一种开放式无人货柜的自动监控方法，所述方法包括：

获取对应多个货道的第一图像数据；

识别所述第一图像数据中每个货道中的最后一个商品与图像传感器的相对位置信息；

基于在先数据和每个货道中的所述相对位置信息，确定商品数量发生变化的货道及该货道商品数量的变化量；

根据各个货道商品数量的变化量、对应商品信息及用户信息完成商品交易。

在一些实施例中，所述在先数据包括：预设数据、前次结算数据和在先获取的第二图像数据中的至少一种。

在一些实施例中，所述方法还包括：

进入配置模式，所述配置模式下每个货道中包括至少一个商品；

根据对应多个货道的第三图像数据和/或用户输入信息，获得每个货道中商品与图像传感器的相对位置在图像数据中的映射关系，以及获得每个货道中的对应商品信息。