[发明专利]一种基于深度学习构建的无人超市人货匹配方法及其系统

说明书

本发明涉及一种无人超市，尤其是一种基于深度学习构建的无人超市人货匹配方法，包括以下步骤：接收到某个称重传感器的数值变化后，确定该称重传感器的传感器坐标、变化的数值、数值变化的时间、对应的商品名称和该商品的单位质量；根据变化的数值和商品的单位质量计算购买的商品数量；根据数值变化的时间查找该时间点附近所有顾客的人体骨骼关键点中手部关键点的手部坐标，并计算传感器坐标与手部坐标之间的距离，取最小距离对应的手部坐标的顾客；完成确定购买了当前商品的顾客及购买数量。该方法实现了无人超市的人货精确匹配。

技术领域

本发明涉及一种无人超市，尤其是一种基于深度学习构建的无人超市人货匹配方法及其系统。

背景技术

现有的无人超市的人货匹配系统的解决方案主要有三种，第一种是为每件商品贴上射频识别RFID标签，用户通过射频读取设备进行商品识别的过程中，人货匹配系统将用户与其所购商品进行匹配并结算，第二种是用户购物后自助扫描条形码进行结算，第三种是使用深度学习算法只进行人员检测，然后与发生数量变化的商品进行简单匹配，出门时进行结算。

方案一所述无人超市人货匹配系统在商品识别方面使用附加在商品上的RFID标签，通过射频读取设备进行商品识别，这种方案需要在每件商品都附加RFID标签，人工成本和商品维护成本高，不适合大面积使用。

方案二所述的无人超市人货匹配系统需要用户自助扫描商品条形码结算，易出现漏算、多算等现象，要有专人监督，需要人员成本，与普通线下超市无本质区别。

方案三所述的无人超市人货匹配系统是使用深度学习算法只进行人员检测，将得到的人员检测结果与数量发生变动的商品进行人货匹配，这种人货匹配方案是无法解决多个用户肢体发生交叉时的人货匹配问题的，注定是无法完全满足无人超市整体系统的精确度要求的，且此种人货匹配方案在用户进行商品结算时会增加用户的时间和人力成本。

因此，上述现有的三种无人超市方案无法满足无人超市想要达到的“即拿即走”的无感知购物的，且人员成本高。

发明内容

为解决上述问题，本发明提供一种基于深度学习构建的无人超市人货匹配方法，以解决现有的无人超市系统的人货匹配方案需要用户自助结算、将商品贴上RFID标签或无法解决用户肢体交叉的人货匹配的简单深度学习算法，维护成本高，无法实现无感知购物，购物体验不佳的技术问题；具体技术方案为：

一种基于深度学习构建的无人超市人货匹配方法，包括以下步骤：接收到某个称重传感器的数值变化后，确定该称重传感器的传感器坐标、变化的数值、数值变化的时间、对应的商品名称和该商品的单位质量；根据变化的数值和商品的单位质量计算购买的商品数量；根据数值变化的时间查找该时间点附近所有顾客的人体骨骼关键点中手部关键点的手部坐标，并计算传感器坐标与手部坐标之间的距离，取最小距离对应的手部坐标的顾客；完成确定购买了当前商品的顾客及购买数量。

优选的，预先测量各个货架上商品的单位质量，配置好货架上的每一个传感器的检测信息，所述检测信息包括：传感器坐标、商品的名称和该商品的单位质量。

优选的，查找手部坐标时，先检测人体头部的位置，然后根据人体头部的位置检测人体骨骼关键点。

优选的，人体头部位置的检测通过顶部的摄像头检测，并且通过头部检测模型进行实时检测。

优选的，所述头部检测模型的建立包括以下步骤：采集不同季节、不同日期、一天中不同时间段的店内视频；将采集的店内视频拆分成图片，利用标注软件对拆分出的图片中的人体头部区域进行标注，生成数据集；构建头部检测的深度学习模型，使用构建的数据集对构建的头部检测深度学习模型进行训练，得到头部检测模型，所述头部检测模型对人体头部区域进行实时检测。

优选的，所述人体骨骼关键点的检测通过不少于两个的摄像头检测，并且通过关键点模型进行实时检测。

优选的，所述关键点模型的建立包括以下步骤：