[发明专利]一种货架商品推荐方法及装置

权利要求书

1.一种货架商品推荐方法，其特征在于，包括：

获取用户的行人特征图像和所述用户的手部动作图像，且所述用户的行人特征图像和所述用户的手部动作图像绑定；

基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；

若是，通过智能货架为所述用户推荐第一目标货架商品；

若否，基于所述用户的行人特征图像，通过智能货架为所述用户推荐第二目标货架商品。

2.如权利要求1所述的方法，其特征在于，所述基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为，包括：

基于所述用户的手部动作图像，获得用户手接触货架商品的目标图像；

基于所述目标图像，确定所述货架商品的名称；

根据所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果；

基于所述监测结果，判断所述用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为。

3.如权利要求2所述的方法，其特征在于，所述基于所述用户的手部动作图像，获得用户手接触货架商品的目标图像，包括：

获取用于识别顾客手接触货架商品的图像的第一识别模型，所述第一识别模型为通过获取历史N组顾客手接触物品的图像信息，所述图像信息包括：标注为顾客手接触货架商品的图像和标注为顾客手接触非货架商品的图像，N为正整数，采用所述历史N组顾客手接触物品的图像信息进行机器学习训练所得到的；

基于所述用户的手部动作图像和所述第一识别模型，获得用户手接触货架商品的目标图像。

4.如权利要求2所述的方法，其特征在于，所述基于所述目标图像，确定所述货架商品的名称，包括：

从所述目标图像中提取货架商品图片；

将所述货架商品图片输入特征提取模型中，获得所述货架商品图片所对应的目标特征向量；

获取所述智能货架的商品特征库，所述商品特征库包括每个货架商品所对应的特征向量，以及每个特征向量所对应的货架商品的名称；

基于所述目标特征向量和所述商品特征库，确定所述货架商品的名称。

5.如权利要求2所述的方法，其特征在于，所述根据所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果，包括：

获取用于识别用户将货架商品放回货架的第二识别模型，所述第二识别模型为通过获取历史M组顾客购买商品的连续帧图像的信息，所述连续帧图像的信息包括：标注为将货架商品放回货架的连续帧图像以及标注为将货架商品放入购物车的连续帧图像，M为正整数，采用所述M组顾客购买商品的连续帧图像信息进行机器学习训练所得到的；

基于所述第二识别模型、所述用户的手部动作图像以及所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果，包括：

将所述用户的手部动作图像输入所述第二识别模型，在输出为用户将所述货架商品放回货架的连续帧图像时，则确定监测结果为用户将所述货架商品放回货架；在输出为用户将所述货架商品放入购物车的连续帧图像时，则确定监测结果为用户未将所述货架商品放回货架，并确定相应的货架商品的名称。

6.如权利要求2所述的方法，其特征在于，所述通过智能货架为所述用户推荐第一目标货架商品，包括：

在所述用户再次经过具有第一目标货架商品的智能货架时，基于所述用户的行人特征图像，通过智能货架为所述用户推荐所述第一目标货架商品，所述第一目标货架商品为基于所述货架商品的名称所确定的商品。

7.如权利要求1所述的方法，其特征在于，所述基于所述用户的行人特征图像，通过智能货架为所述用户推荐第二目标货架商品，包括：

在所述用户首次经过智能货架时，基于所述用户的行人特征图像，获得所述用户的属性特征；

基于所述用户的属性特征，通过智能货架为所述用户推荐与所述用户的属性特征相匹配的第二目标货架商品。