[发明专利]图像识别模型训练方法、图像识别方法、装置及电子设备

说明书

本公开提供了一种图像识别模型训练方法、图像识别方法、装置及电子设备，涉及图像处理领域，尤其涉及人工智能、计算机视觉技术领域。具体实现方案为：通过确定训练样本集合，训练样本集合包括多个样本图片及各样本图片对应的文本标签；然后基于基础图像识别模型的特征提取网络，提取各样本图片的图像特征以及语义特征；继而基于提取的各样本图片的图像特征、语义特征以及标注的各样本图片对应的文本标签，以及预定的图像分类损失函数、语义分类损失函数，训练基础图像识别模型。也即是说，在训练图像识别模型时，同时考虑了视觉感知信息以及文本语义信息，从而即使图像存在模糊或者遮挡问题，也能够正确的识别出图像的文本。

技术领域

本公开涉及图像处理技术领域，尤其涉及人工智能、计算机视觉技术领域。

背景技术

“招牌文字识别技术”主要是从商家招牌中检测到文字区域，并对文字区域识别出可解码的汉字和英文。识别的结果对POI新增生产，和自动化招牌关联具有重要意义。由于招牌文字识别技术是整个生产的重要环节，如何准确的识别招牌中的文字成为了一个问题。

发明内容

本公开提供了一种图像识别模型训练方法、图像识别方法、装置及电子设备。

根据本公开的第一方面，提供了一种图像识别模型训练方法，包括：

确定训练样本集合，训练样本集合包括多个样本图片及各样本图片对应的文本标签；其中，所述样本集合中至少部分样本图片中的文字存在文字不规则、遮挡或模糊；

基于基础图像识别模型的特征提取网络，提取各样本图片的图像特征以及语义特征；

基于提取的各样本图片的图像特征、语义特征以及标注的各样本图片对应的文本标签，以及预定的图像分类损失函数、语义分类损失函数，训练基础图像识别模型。

根据本公开的第二方面，提供了一种图像识别方法，包括：

获取待识别目标图片；

将待识别目标图片输入至第一方面的图像识别模型，得到待识别目标图片对应的文本信息。

根据本公开的第三方面，提供了一种图像识别模型训练的装置，包括：

第一确定模块，用于确定训练样本集合，训练样本集合包括多个样本图片及各样本图片对应的文本标签；其中，所述样本集合中至少部分样本图片中的文字存在文字不规则、遮挡或模糊；

第一提取模块，用于基于基础图像识别模型的特征提取网络，提取各样本图片的图像特征以及语义特征；

训练模块，用于基于提取的各样本图片的图像特征、语义特征以及标注的各样本图片对应的文本标签，以及预定的图像分类损失函数、语义分类损失函数，训练基础图像识别模型。

根据本公开的第四方面，提供了一种图像识别的装置，包括

第四确定模块，用于确定待识别目标图片；

识别模块，将待识别目标图片输入至第一方面训练的图像识别模型，识别得到待识别目标图片对应的文本信息。

根据本公开的第五方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与上述至少一个处理器通信连接的存储器；其中，

存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述方法。