[发明专利]一种购物结算方法、装置和用户终端

权利要求书

1.一种购物结算方法，其特征在于，包括：

采集购物区域内用户拿取目标商品的商品拿取手势图像；

对所述商品拿取手势图像进行识别，确定所述目标商品的视觉购物数据；所述视觉购物数据包括基于图像识别的所述用户购物的目标商品的第一品种信息和第一数量信息；

获取与所述目标商品对应的重力传感器返回的重力变化数据，并根据所述重力变化数据得到所述用户拿取的目标商品的重力购物数据；所述重力购物数据包括基于重力变化数据的所述用户购物的目标商品的第二品种信息和第二数量信息；

将所述视觉购物数据与所述重力购物数据进行比对，判断所述视觉购物数据与所述重力购物数据是否相同；

若是，则生成结算清单，以便于所述用户根据所述结算清单进行结算。

2.如权利要求1所述购物结算方法，其特征在于，所述“获取与所述目标商品对应的重力传感器返回的重力变化数据，并根据所述重力变化数据得到所述用户拿取的目标商品的重力购物数据”包括：

采集与所述目标商品对应的重力传感器返回的拿取后重力数据；并且，获取与所述目标商品对应的重力传感器的预存的拿取前重力数据；

根据所述拿取前重力数据和所述拿取后重力数据，计算得到所述重力变化数据；

根据与所述目标商品对应的重力传感器确定所拿取的所述目标商品的第二品种信息；

基于预设重力数据库，根据所确定的所述目标商品的品种判断所述用户拿取的目标商品的第二数量信息，并生成所述用户拿取的目标商品的重力购物数据。

3.如权利要求1所述购物结算方法，其特征在于，所述“对所述商品拿取手势图像进行识别，确定所述目标商品的视觉购物数据”包括：

将所述商品图像转换为多个在时间上连续的关键帧；

定位每一帧的所述在时间上连续的关键帧中的商品特征，提取出具有目标商品的目标关键帧；并且，

截取所述目标关键帧中的包括所述商品特征在内的最小截图；

基于神经网络学习，对所述目标关键帧的所述最小截图进行识别，确定所述用户购物的所述目标商品的第一品种信息和第一数量信息，以得到所述视觉购物数据。

4.如权利要求3所述购物结算方法，其特征在于，所述“定位每一帧的所述在时间上连续的关键帧中的商品特征，提取出具有目标商品的目标关键帧”包括：

对所述在时间上连续的关键帧进行阈值分割算法进行分割，得到二值图像；

以预先采集的用户未抓取商品的手部图像作为对比种子图，对所述分割后二值图像进行比对，以框出所有所述关键帧中，具有区别于所述对比种子图的目标商品的图像，得到具有所述商品的目标关键帧。

5.如权利要求4所述购物结算方法，其特征在于，所述“对所述在时间上连续的关键帧进行阈值分割算法进行分割，得到二值图像”包括：

将每一帧的所述在时间上连续的关键帧转化为HSV颜色空间，得HSV图像；

对所述HSV图像进行直方图分析，得到与所述HSV图像对应的阈值范围；

对每一帧的所述在时间上连续的关键帧中的每个像素点进行阈值分割，确认其中在H、S、V三个维度的像素值都在所述阈值范围内的像素点；

将在H、S、V三个维度的像素值都在所述阈值范围内的像素点设置为1，将在H、S、V三个维度的像素值不都在所述阈值范围内的像素点设置为0，得到所述分割后所述二值图像。