[发明专利]一种购物结算方法、装置和用户终端

说明书

本发明提供了一种购物结算方法、装置和用户终端，其中所述方法包括：采集商品拿取手势图像；对商品拿取手势图像进行识别，确定目标商品的视觉购物数据；获取与目标商品对应的重力传感器返回的重力变化数据，并根据重力变化数据得到重力购物数据；将视觉购物数据与重力购物数据进行比对，判断视觉购物数据与重力购物数据是否相同；若是，则生成结算清单。本发明实现了在开放式的购物环境中，利用图像识别技术和重力感应技术相结合，对用户拿取目标商品的品种和数量判断，以生成更加准确的购物清单，为最终生成更准确的结算清单提供了多重保障，提高结算精确度降低人力成本，缩短结算时间，结算效率高，购物过程简单。

技术领域

本发明涉及图像识别技术领域，更具体地说，涉及一种购物结算方法、装置和用户终端。

背景技术

物质流通是人类社会的最基本要素。零售行业或直接面向消费者销售的开放式的相关行业(以下简称为零售行业或零售企业)作为当前物质流通的重要手段，需要雇佣大量的收银人员来实现商品的买卖工作，收银人员对消费者所购物品一件一件进行统计，统计完成后，与消费者共同完成支付。

而自动售货柜，则解决了零售行业的人工统计和人工结算的缺陷，是一种面向消费者的无人售货、自动结算的售卖方式。可通过用户的选择，统计出用户所选择的商品的品种种类和总价值，以供用户进行结算，完成支付过程。但目前的自动售货柜只能进行根据用户的选择，自动出货自动结算，并不能在开放的零售购物环境中实现对于用户的购物的行为和所取得的进行准确的识别，从而实现结算。

总之，目前现有的开放式的购物环境中，只能通过人工对于消费者所购得的商品进行逐件的检查、统计和总价计算，耗费大量人力成本，结算时间长效率低，准确度差，而且用户体验差。

发明内容

有鉴于此，本发明提供一种购物结算方法、装置和用户终端以解决现有技术的不足。

为解决上述问题，本发明提供一种购物结算方法，包括：采集购物区域内用户拿取目标商品的商品拿取手势图像；对所述商品拿取手势图像进行识别，确定所述目标商品的视觉购物数据；所述视觉购物数据包括基于图像识别的所述用户购物的目标商品的第一品种信息和第一数量信息；获取与所述目标商品对应的重力传感器返回的重力变化数据，并根据所述重力变化数据得到所述用户拿取的目标商品的重力购物数据；所述重力购物数据包括基于重力变化数据的所述用户购物的目标商品的第二品种信息和第二数量信息；将所述视觉购物数据与所述重力购物数据进行比对，判断所述视觉购物数据与所述重力购物数据是否相同；若是，则生成结算清单，以便于所述用户根据所述结算清单进行结算。

优选地，所述“获取与所述目标商品对应的重力传感器返回的重力变化数据，并根据所述重力变化数据得到所述用户拿取的目标商品的重力购物数据”包括：采集与所述目标商品对应的重力传感器返回的拿取后重力数据；并且，获取与所述目标商品对应的重力传感器的预存的拿取前重力数据；根据所述拿取前重力数据和所述拿取后重力数据，计算得到所述重力变化数据；根据与所述目标商品对应的重力传感器确定所拿取的所述目标商品的第二品种信息；基于预设重力数据库，根据所确定的所述目标商品的品种判断所述用户拿取的目标商品的第二数量信息，并生成所述用户拿取的目标商品的重力购物数据。

优选地，所述“对所述商品拿取手势图像进行识别，确定所述目标商品的视觉购物数据”包括：将所述商品图像转换为多个在时间上连续的关键帧；定位每一帧的所述在时间上连续的关键帧中的商品特征，提取出具有目标商品的目标关键帧；并且，截取所述目标关键帧中的包括所述商品特征在内的最小截图；基于神经网络学习，对所述目标关键帧的所述最小截图进行识别，确定所述用户购物的所述目标商品的第一品种信息和第一数量信息，以得到所述视觉购物数据。