[发明专利]基于图像识别技术进行店铺门头招牌识别的方法及装置

权利要求书

1.基于图像识别技术进行店铺门头招牌识别的方法，其特征在于，包括：

获取线下店铺门头招牌图像，通过预先构建的门头分类模型和招牌元素识别模型进行识别；

合并所述门头分类模型和招牌元素识别模型的识别结果，提取线下店铺门头招牌图像上的图像信息，判断线下店铺门头招牌图像是否满足经销商的要求。

2.根据权利要求1所述的基于图像识别技术进行店铺门头招牌识别的方法，其特征在于，所述门头分类模型和招牌元素识别模型的构建包括：

获取预先采集的实际场景中的店铺门头招牌图像，对所述店铺门头招牌图像进行分类标注及招牌元素标注；

对所述店铺门头招牌图像进行分类训练，获取门头分类模型，并对模型进行部署；

对所述店铺门头招牌图像进行店铺招牌元素识别训练，获取招牌元素识别模型，并对模型进行部署。

3.根据权利要求2所述的基于图像识别技术进行店铺门头招牌识别的方法，其特征在于，所述获取预先采集的实际场景中的店铺门头招牌图像，对所述店铺门头招牌图像进行分类标注及招牌元素标注，包括：

获取预先采集的实际场景中的店铺门头招牌图像作为训练数据集，其中，采集的图像包括合格的门头招牌图像，不合格的门头招牌图像及其他场景的图像；

对采集到的图像进行分类标注，获取分类数据集，其中，标注类别包括合格的门头招牌图像图像包含门头且门头上方有店铺招牌，不合格的门头招牌图像即图像仅包含门头或者仅包含店铺招牌，其他类型的图像即不属于以上两种类别的图像；

对采集到的图像进行元素标注，获取元素识别数据集，标注的元素为店铺招牌中经销商logo、经销商名称及其他与经销商关联的元素，标注方式不限于目标检测中的矩形框标注方式；

其中，所述分类数据集和招牌元素识别数据集不限于同一个数据集。

4.根据权利要求2所述的基于图像识别技术进行店铺门头招牌识别的方法，其特征在于，所述对所述店铺门头招牌图像进行分类训练，获取门头分类模型，并对模型进行部署，包括：

利用标注完成的数据训练门头分类模型，门头分类模型包括但不限于ResNet、VGG、MobileNet或ShuffleNet；

对训练完成的门头分类模型进行量化加速，模型部署方式不限于云部署及移动端的部署。

5.根据权利要求2所述的基于图像识别技术进行店铺门头招牌识别的方法，其特征在于，所述对所述店铺门头招牌图像进行店铺招牌元素识别训练，获取招牌元素识别模型，并对模型进行部署，包括：

利用标注完成的数据训练招牌元素识别模型，招牌元素识别模型包括但不限于SSD，YOLO或FasterRCNN；

对训练完成的招牌元素识别模型进行量化加速，模型部署方式不限于云部署及移动端的部署。

6.根据权利要求1所述的基于图像识别技术进行店铺门头招牌识别的方法，其特征在于，所述合并所述门头分类模型和招牌元素识别模型的识别结果，提取线下店铺门头招牌图像上的图像信息，判断线下店铺门头招牌图像是否满足经销商的要求，包括：

对合并门头分类模型和招牌元素识别模型的识别结果进行第一次判断，包括：合并两个模型的推理输出，若门头分类模型分类结果是合格的门头，且招牌元素识别模型在店铺招牌上检测到了经销商的logo，经销商的名称及其他经销商关联元素，则图像符合要求；

对提取店铺招牌元素周围的图像信息进行第二次判断，包括：对于第一次判断符合要求的图像，提取店铺招牌元素周围的图像信息，判断招牌的颜色是否为经销商指定的颜色，若为经销商指定的颜色，则图像符合要求，门头店铺招牌合格；

对识别准确率进行计算，包括：对于随机采集的一批验证数据，根据门头分类模型的分类结果、招牌元素识别模型的识别结果及颜色识别结果，准确率计算公式如下：

D：用于验证的数据集合；实际是正样本分类模型预测也是正样本的集合；

实际是正样本招牌元素识别模型预测也是正样本的集合；

实际是负样本分类模型预测也是负样本的集合；

实际是负样本招牌元素识别模型预测也是负样本的集合；

p_colour：颜色识别的准确率。