[发明专利]商品识别方法及装置

权利要求书

1.一种商品识别方法，其特征在于，所述方法包括：

获取在用户选购商品的过程中采集到的多张图像；

通过商品识别模型对所述多张图像中的每张图像进行识别，得到每张图像的检测结果，所述商品识别模型由包含有手部和商品的多张样本图像训练得到；

根据每张图像的检测结果，从所述多张图像中确定包含有手部和手部所持商品的多张目标图像；

根据每张目标图像中手部和手部所持商品的位置信息以及每张目标图像的采集时间，确定商品识别结果。

2.根据权利要求1所述的方法，其特征在于，所述通过商品识别模型对所述多张图像中的每张图像进行识别之前，还包括：

获取多张测试图像和每张测试图像的标注信息，以及获取所述多张样本图像和每张样本图像的标注信息，所述标注信息用于指示相应图像中手部的位置和商品的位置；

根据所述多张样本图像和每张样本图像的标注信息，对所述初始网络进行训练，得到基础识别模型；

根据所述多张测试图像和每张测试图像的标注信息，确定所述基础识别模型的检测精度；

如果所述检测精度未达到参考精度值，则对所述多张样本图像进行更新，返回获取所述多张样本图像和每张样本图像的标注信息的步骤，直到所述检测精度达到所述参考精度值时，将最后一次得到的基础识别模型作为所述商品识别模型。

3.根据权利要求2所述的方法，其特征在于，所述初始网络包括特征提取网络和目标检测网络；

所述根据所述多张样本图像和每张样本图像的标注信息，对所述初始网络进行训练，得到基础识别模型，包括：

通过所述特征提取网络对第一样本图像进行特征提取，得到所述第一样本图像的特征矩阵，所述第一样本图像为所述多张样本图像中的任一样本图像；

通过所述目标检测网络对所述特征矩阵进行处理，得到所述第一样本图像的样本检测结果；

根据所述第一样本图像的标注信息和样本检测结果，确定损失函数值；

如果所述损失函数值不满足第一预设条件，则根据所述损失函数值对所述特征提取网络和所述目标检测网络中的参数进行调整，并对所述第一样本图像进行更新，返回所述通过所述特征提取网络对第一样本图像进行特征提取的步骤，直至所述损失函数值满足所述第一预设条件时，将最后一次调整参数后的网络确定为所述基础识别模型。

4.根据权利要求3所述的方法，其特征在于，

所述标注信息包括相应图像中的每个标注框的位置和尺寸、以及每个标注框中的标注对象的类别，所述标注对象为手部或商品；

所述样本检测结果包括在相应样本图像中检测到的每个检测框的位置和尺寸、以及每个检测框内的检测对象的类别。

5.根据权利要求2所述的方法，其特征在于，所述根据所述多张测试图像和每张测试图像的标注信息，确定所述基础识别模型的检测精度，包括：

通过所述基础识别模型对每张测试图像进行识别，得到相应测试图像的检测结果；

对每张测试图像的检测结果进行过滤，得到每张测试图像的识别结果；

根据每张测试图像的识别结果和标注信息，确定所述基础识别模型的检测精度。

6.根据权利要求1-5任一所述的方法，其特征在于，所述多张图像中的每张图像的检测结果包括相应图像中的一个或多个候选框中每个候选框的位置和尺寸、用于指示每个候选框内是否包含有对象的对象存在概率、每个候选框内的对象的多个候选类别以及所述多个候选类别中每个候选类别对应的概率；

所述根据每张图像的检测结果，从所述多张图像中确定包含有手部和商品的多张目标图像，包括：

根据每张图像的检测结果中每个候选框的对象存在概率、相应候选框内的对象的多个候选类别中每个候选类别对应的概率，确定相应候选框内的对象的类别和相应候选框对应的置信度；

根据每张图像中每个候选框内的对象的类别、每个候选框对应的置信度以及每个候选框的位置和尺寸，对每张图像的检测结果进行过滤，得到每张图像的识别结果；

根据每张图像的识别结果，从所述多张图像中确定所述多张目标图像。