[发明专利]一种人工智能自动收银方法

说明书

本发明旨在提供一种无需粘贴任何标签，不受位置和姿态的干扰、识别率高且对商品物体识别具有多重保障的人工智能自动收银方法。该方法包括以下步骤：商品物体放置到称重传感器平台上，称重传感器平台触发摄像头对放置在称重传感器平台上的商品物体进行x次拍照，得到x张照片；使用卷积神经网络进行商品识别训练，建立基于卷积神经网络框架的商品识别模型；将获得的x张照片依次输入到商品识别模型进行商品识别；根据检测到的商品类别和个数获得商品总重量，将该数值与所述称重传感器平台获得的商品实际总重量进行比较，如比较值一致，则认定商品物体识别正确，输出商品物体列表和价格，并显示支付二维码。本发明应用于自动结算领域。

技术领域

本发明涉及自动结算领域，特别涉及一种在无人商店中的人工智能自动收银方法。

背景技术

现有技术中，自助收银台有通过RFID进行商品识别的，也有通过视觉方法检测物体特征，并通过模板进行匹配进而确定商品类别。但这两种方法分别存在如下问题。

通过RFID进行商品识别，有如下弊端：粘贴RFID标签需要额外的人工和物料成本；RFID标签易受距离等影响互相干扰，从而降低识别率；果蔬等商品无法粘贴RFID标签。

通过视觉方法检测商品物体特征的方法也存在如下一些不足：物体特征需要人为指定或干预；模板匹配鲁棒性差，光照和形变会严重影响识别率。

综上所述，现有的自助收银方法存在需粘贴RFID标签，人工成本较高；受到位置摆放的影响，识别率低；即使出现商品物体与实际价格不一致，但很多时候都无法暂停或者结束结算，造成系统混乱。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种无需粘贴任何标签，不受位置和姿态的干扰、识别率高且对商品物体识别具有多重保障的人工智能自动收银方法。

本发明所采用的技术方案是：本发明方法在人工智能自动收银台上进行，在所述人工智能自动收银台上设置有称重传感器平台和摄像头，该方法包括以下步骤：

（1）将待检测商品物体放置到称重传感器平台上，称重传感器平台检测到重量改变，触发所述摄像头对放置在称重传感器平台上的商品物体进行x次拍照，得到x张照片，x为大于等于1的自然数；

（2）使用卷积神经网络进行商品识别训练，建立基于卷积神经网络框架的商品识别模型；

（3）将获得的x张照片依次输入到商品识别模型进行商品的图像边缘及颜色特征提取，得到含有商品特征的x张特征图，以每一张特征图中的每一个点作为中心，生成R个候选框，其中R为大于1的自然数；

（4）通过所述商品识别模型的区域建议网络的softmax分类器将获得的候选框分为前景和背景，将区域建议网络预测出的候选框的两个对角点的坐标值和其真实候选框坐标值来比较，得到预测候选框相对于真实候选框的相对偏移量；

（5）通过获得的前景和偏移量，得到商品物体初选的目标区域，对目标区域进行采样，提取所述商品识别模型感兴趣区域的颜色和边缘特征，颜色和边缘特征通过区域建议网络的全连接层与softmax分类器得到每个目标区域属于哪个类别；

（6）判定检测识别次数是否为x，当为x时，返回x次识别结果中检测商品数量最多的一次结果；否则，将下一张图片送入商品识别模型进行检测识别过程；

（7）如有商品物体不能识别，则需要更换姿势摆放，然后重复步骤（2）；

（8）根据检测到的商品类别和个数获得商品总重量，并将该数值与所述称重传感器平台获得的商品实际总重量进行比较，如检测获得的商品总重量数值与称重传感器平台获得的商品实际总重量的差值处于设定的阀值内，则认定商品物体识别正确，输出商品物体列表和价格，并在显示屏上显示支付二维码；否则，重复步骤（7）；