[发明专利]训练招牌分类模型和招牌分类的方法

权利要求书

1.一种训练招牌分类模型的方法，包括：

获取样本集，其中，所述样本集中的样本包括：图像、语义信息、样本标签；

执行如下训练步骤：从所述样本集中选取样本；将选取的样本中的图像和语义信息输入招牌分类模型，得到基于图像特征的第一预测结果、基于语义特征的第二预测结果、基于图像特征和语义特征的融合特征的第三预测结果；基于所述第一预测结果、所述第二预测结果、所述第三预测结果和样本标签计算总损失值；若总损失值小于预定阈值，则确定出所述招牌分类模型训练完成。

2.根据权利要求1所述的方法，其中，所述方法还包括：

若总损失值大于等于预定阈值，则调整招牌分类模型的相关参数，基于调整后的招牌分类模型继续执行上述训练步骤。

3.根据权利要求1所述的方法，其中，所述将选取的样本中的图像和语义信息输入招牌分类模型，得到基于图像特征的第一预测结果、基于语义特征的第二预测结果、基于图像特征和语义特征的融合特征的第三预测结果，包括：

通过图像特征提取网络从选取的样本中的图像中提取出图像特征；将所述图像特征经过图像全连接层后，得到图像表示；

通过语义特征提取网络从选取的样本中的语义信息中提取出语义特征；将所述语义特征经过语义全连接层后，得到语义表示；

将所述图像特征和所述语义特征通过共享全连接层后进行融合得到共享表示；

将所述图像表示和所述共享表示级联后输入第一分类器，得到第一预测结果；

将所述语义表示和所述共享表示级联后输入第二分类器，得到第二预测结果；

将所述共享表示输入第三分类器，得到第三预测结果。

4.根据权利要求1所述的方法，其中，所述基于所述第一预测结果、所述第二预测结果、所述第三预测结果和样本标签计算总损失值，包括：

基于所述第一预测结果与样本标签之间的差异计算第一损失值；

基于所述第二预测结果与样本标签之间的差异计算第二损失值；

基于所述第三预测结果与样本标签之间的差异计算第三损失值；

计算所述第一损失值、所述第二损失值、所述第三损失值的加权和作为总损失值。

5.根据权利要求4所述的方法，其中，所述第一损失值的权重与第二损失值的权重相同，并且大于第三损失值的权重。

6.一种招牌分类的方法，包括：

将检测到的招牌图片进行文字识别，得到文字信息；

将所述招牌图片和所述文字信息输入根据权利要求1-5中任一项所述的方法训练的招牌分类模型，得到图像得分和语义得分；

基于所述图像得分和所述语义得分输出所述招牌图片有效的概率。

7.一种训练招牌分类模型的装置，包括：

获取单元，被配置成获取样本集，其中，所述样本集中的样本包括：图像、语义信息、样本标签；

训练单元，被配置成执行如下训练步骤：从所述样本集中选取样本；将选取的样本中的图像和语义信息输入招牌分类模型，得到基于图像特征的第一预测结果、基于语义特征的第二预测结果、基于图像特征和语义特征的融合特征的第三预测结果；基于所述第一预测结果、所述第二预测结果、所述第三预测结果和样本标签计算总损失值；若总损失值小于预定阈值，则确定出所述招牌分类模型训练完成。

8.根据权利要求7所述的装置，其中，所述训练单元进一步被配置成：

若总损失值大于等于预定阈值，则调整招牌分类模型的相关参数，基于调整后的招牌分类模型继续执行上述训练步骤。