[发明专利]商品识别方法、商品处理方法、装置及电子设备

权利要求书

1.一种商品识别方法，其特征在于，包括：

获取拍摄用户行为的图像；

确定所述图像中的各个商品的位置信息、标识信息以及用户手的位置信息；

根据商品的位置信息以及图像中用户手的位置信息，确定用户接触的商品的标识信息；

其中，所述确定所述图像中的各个商品的位置信息、标识信息包括：通过检测模型检测所述图像中各个商品的位置信息；针对图像中的每个商品，根据商品的位置信息，将对应的商品图像输入到识别模型，得到商品的标识信息；

所述方法还包括：

对所述检测模型和所述识别模型进行训练；

所述对所述检测模型进行训练包括：获取图像样本，所述图像样本的标签为图像中商品的位置信息；通过所述图像样本对所述检测模型进行训练；

所述识别模型包括粗分类器和至少一个细分类器；

所述根据商品的位置信息，将对应的商品图像输入到识别模型，得到商品的标识信息包括：根据商品的位置信息，将对应的商品图像输入到粗分类器，获取所述商品的类型；将所述商品图像输入到所述商品的类型对应的细分类器，得到所述商品的标识信息。

2.根据权利要求1所述的方法，其特征在于，获取拍摄用户行为的图像，包括：

获取拍摄装置拍摄用户行为的视频流，并从所述视频流中选取图像；

其中，所述拍摄装置设置在货架上端，所述货架上放置有商品。

3.根据权利要求1所述的方法，其特征在于，对所述识别模型中的粗分类器进行训练，包括：

从商品数据库中获取样本，所述样本包括商品图像，所述样本的标签为商品图像对应的类型；

根据所述样本，对所述粗分类器进行训练。

4.根据权利要求1所述的方法，其特征在于，对所述识别模型中的细分类器进行训练，包括：

从商品数据库中获取样本，所述样本包括属于所述细分类器对应的类型的商品图像，所述样本的标签为所述商品图像的标识信息；

根据所述样本，对所述细分类器进行训练。

5.根据权利要求3或4所述的方法，其特征在于，还包括：

获取多个商品的标识信息以及对应的参考图；

获取多个商品的实拍图，并根据所述参考图确定实拍图对应的标识信息；

将所述商品的实拍图与对应的标识信息存储在商品数据库中。

6.根据权利要求5所述的方法，其特征在于，根据所述参考图确定实拍图对应的标识信息，包括：

针对每一参考图，计算各个实拍图与该参考图属于同一商品的置信度；

若该参考图与某一实拍图属于同一商品的置信度大于第一阈值，且其它参考图与该实拍图属于同一商品的置信度均小于第一阈值，则确认该实拍图与该参考图属于同一商品；

根据实拍图对应的参考图，确定所述实拍图对应的商品的标识信息。

7.根据权利要求6所述的方法，其特征在于，还包括：

若各个参考图与某一实拍图属于同一商品的置信度均小于第一阈值，或者，存在至少两个参考图与该实拍图属于同一商品的置信度大于第一阈值，则将该实拍图显示给管理人员；

获取管理人员输入的实拍图中商品的标识信息。

8.根据权利要求5所述的方法，其特征在于，从商品数据库中获取样本，包括：

从商品数据库中获取实拍图；

对所述实拍图进行检测，确定所述实拍图中的商品图像；

对所述实拍图中的商品图像进行样本增强，得到用于训练识别模型的样本；

其中，所述样本增强包括下述至少一项：调整所述商品图像的光线信息、在所述商品图像中增加噪声、对所述商品图像进行几何变换、调整商品图像所在矩形框的旋转角度。

9.根据权利要求3所述的方法，其特征在于，还包括：

对所述商品数据库中的商品图像按照图像特征进行聚类，获得至少一个图像集合；

确定所述至少一个图像集合对应的类型；其中，每个商品图像所属图像集合对应的类型作为每个商品图像对应的类型。