[发明专利]一种货架商品推荐方法及装置

说明书

本发明涉及图像处理技术领域，尤其涉及一种货架商品推荐方法及装置，该方法包括：获取用户的行人特征图像和用户的手部动作图像；基于用户的手部动作图像，判断用户是否有目标购物行为，该目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；若是，通过智能货架为该用户推荐第一目标货架商品；若否，基于用户的行人特征图像，通过智能货架为用户推荐第二目标货架商品，一方面是通过准确识别用户的购物行为，为用户推荐商品，另一方面是在识别到用户没有购物行为时，根据用户的行人特征图像为用户推荐商品，无论用户是否有购物行为，都能提高为用户推荐货架商品的准确性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种货架商品推荐方法及装置。

背景技术

该交互式智能货架、无人购物货架等在现实生活中越来越普遍，能够为用户提供更加便利的购物环境，但是，由于现有的设备还需要结合一些闸机或者射频设备才能判断用户的购物行为，进而不利于用户购物的效率。

如何提高购物交易的效率同时，还节约人力值守是目前亟待解决的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的货架商品推荐方法及装置。

第一方面，本发明提供了一种货架商品推荐方法，包括：

获取用户的行人特征图像和所述用户的手部动作图像，且所述用户的行人特征图像和所述用户的手部动作图像绑定；

基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为；

若是，通过智能货架为所述用户推荐第一目标货架商品；

若否，基于所述用户的行人特征图像，通过智能货架为所述用户推荐第二目标货架商品。

优选地，所述基于所述用户的手部动作图像，判断用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为，包括：

基于所述用户的手部动作图像，获得用户手接触货架商品的目标图像；

基于所述目标图像，确定所述货架商品的名称；

根据所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果；

基于所述监测结果，判断所述用户是否有目标购物行为，所述目标购物行为是用户拿起货架商品且又放回货架商品的购物行为。

优选地，所述基于所述用户的手部动作图像，获得用户手接触货架商品的目标图像，包括：

获取用于识别顾客手接触货架商品的图像的第一识别模型，所述第一识别模型为通过获取历史N组顾客手接触物品的图像信息，所述图像信息包括：标注为顾客手接触货架商品的图像和标注为顾客手接触非货架商品的图像，N为正整数，采用所述历史N组顾客手接触物品的图像信息进行机器学习训练所得到的；

基于所述用户的手部动作图像和所述第一识别模型，获得用户手接触货架商品的目标图像。

优选地，所述基于所述目标图像，确定所述货架商品的名称，包括：

从所述目标图像中提取货架商品图片；

将所述货架商品图片输入特征提取模型中，获得所述货架商品图片所对应的目标特征向量；

获取所述智能货架的商品特征库，所述商品特征库包括每个货架商品所对应的特征向量，以及每个特征向量所对应的货架商品的名称；

基于所述目标特征向量和所述商品特征库，确定所述货架商品的名称。

优选地，所述根据所述货架商品的名称，监测所述用户是否将所述货架商品放回货架，获得监测结果，包括：