[发明专利]结算方法、装置和系统

权利要求书

1.一种结算方法，其特征在于，所述结算方法包括：

步骤S1，验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载所述商品的货架；

步骤S2，在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；

步骤S3，根据所述购物清单进行结算。

2.根据权利要求1所述的结算方法，其特征在于，步骤S2中，识别拿取或放回动作，具体包括：

获取此顾客在所述货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；

当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；

当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；

其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向。

3.根据权利要求1或2所述的结算方法，其特征在于，步骤S2中，识别拿取或放回动作所针对的商品，具体包括：

S21，对获取的含有商品的多帧手部图像进行目标检测以对应获取多个矩形区域图像，所述矩形区域图像为与包含商品的矩形区域对应的图像，多帧手部图像与多个摄像头一一对应；

S22，根据多个矩形区域图像和预先训练的一级分类模型，对应获取多个初级分类结果，预先训练的一级分类模型为基于卷积神经网络的图像识别技术架构且经所述容纳箱内所有商品训练的模型，根据多个初级分类结果和预先训练的一级线性回归模型获取多帧手部图像的一级分类结果；

S23，以所述一级分类结果作为第一次分类结果；

S24，将所述第一次分类结果作为待识别的商品。

4.根据权利要求3所述的结算方法，其特征在于，在步骤S22之后，步骤S24之前，还包括：

S25，若一级分类结果为相似商品，则根据多个矩形区域图像和预先训练的二级分类模型，对应获得多个次级分类结果，再根据多个次级分类结果和预先训练的二级线性回归模型获取多帧手部图像的二级分类结果，并以二级分类结果作为第一次分类结果，二级分类模型为预先基于卷积神经网络的图像识别技术架构且经所述容纳箱内相似商品组中商品训练的模型，否则执行步骤S23。

5.一种结算装置，其特征在于，所述结算装置包括：

注册模块，用于在注册时接收顾客输入的身份信息及账户信息；

验证关联模块，与所述注册模块连接，用于验证接收的开锁请求是否由预先注册的顾客发送，若是，则发出开锁指令，并将此顾客与所述商品涉及的拿取或放回动作关联，所述开锁指令用于打开容纳箱，所述容纳箱内设置有承载商品的货架；

生成购物清单模块，与所述验证关联模块连接，用于在识别拿取或放回动作及拿取或放回动作所针对的商品后，生成此顾客的购物清单；和

结算模块，与所述生成购物清单模块连接，用于根据所述生成购物清单模块生成的购物清单进行结算。

6.根据权利要求5所述的结算装置，其特征在于，所述生成购物清单模块包括：

动作识别单元，用于获取此顾客在所述货架前的多帧连贯的手部图像，对多帧连贯的手部图像在时间轴上建立一条手部运动轨迹；当检测到手部的运动轨迹为由预设的虚拟动作分界线外向内移动且手中拿有商品时，则将动作识别为放回动作；当检测到手部的运动轨迹为由所述虚拟动作分界线内向外移动且手中拿有商品时，则将动作识别为拿取动作；其中，所述虚拟动作分界线外为远离所述货架的方向，所述虚拟动作分界线内为靠近所述货架的方向；

商品识别单元，用于识别所述拿取或放回动作所针对的商品；和

购物清单生成单元，与所述验证关联模块、动作识别单元和商品识别单元连接，用于根据所述验证关联模块关联的此顾客的身份信息、所述动作识别单元识别的拿取或放回动作、所述商品识别单元识别的拿取或放回动作所针对的商品，生成此顾客的购物清单。