[发明专利]文本识别模型的构建方法、文本识别方法、装置及设备

说明书

本公开提供一种文本识别模型的构建方法、文本识别方法、装置及设备，其中，文本识别模型的构建方法包括：获取文本图像样本集以及字符串样本集；采用文本图像样本集对预设的第一神经网络模型进行训练，得到图像编解码模型（包括第一编码器和第一解码器）；采用字符串样本集对预设的第二神经网络模型进行训练，得到文字编解码模型（包括第二编码器和第二解码器）；基于第一编码器的输出内容以及第二编码器的输出内容，通过预设的跨模态判别器对图像编解码模型和文字编解码模型进行联合训练，采用联合训练后的第一编码器以及联合训练后的第二解码器构建文本识别模型。本公开构建文本识别模型时无需样本标注，能够较好的节约模型训练成本。

技术领域

本公开涉及人工智能领域，尤其涉及文本识别模型的构建方法、文本识别方法、装置、设备及介质。

背景技术

文本识别技术作为人工智能领域的重要分支，已广泛应用于各领域。通常而言，文本识别技术是采用预先构建（训练）的文本识别模型从带有文本字符的图像（文本图像）中识别出字符序列的过程。相关技术在采用文本图像样本训练文本识别模型时，基本都需要为文本图像样本标注文本字符信息，采用有监督的方式实现模型训练，但是标注样本需要耗费较高的人力成本。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种文本识别模型的构建方法、文本识别方法、装置及设备。

根据本公开的一方面，提供了一种文本识别模型的构建方法，包括：获取文本图像样本集以及字符串样本集；采用所述文本图像样本集对预设的第一神经网络模型进行训练，得到图像编解码模型；所述图像编解码模型包括第一编码器和第一解码器；采用所述字符串样本集对预设的第二神经网络模型进行训练，得到文字编解码模型；所述文字编解码模型包括第二编码器和第二解码器；基于所述第一编码器的输出内容以及所述第二编码器的输出内容，通过预设的跨模态判别器对所述图像编解码模型和所述文字编解码模型进行联合训练，直至所述跨模态判别器无法区分所述第一编码器的输出内容以及所述第二编码器的输出内容时结束训练；采用联合训练后的所述第一编码器以及联合训练后的所述第二解码器构建文本识别模型；其中，所述文本识别模型用于对待识别文本图像进行识别，得到所述待识别文本图像中的文本字符。

根据本公开的另一方面，提供了一种文本识别方法，包括：获取待识别文本图像；通过预先构建的文本识别模型对所述待识别文本图像进行识别，得到文本字符识别结果；其中，所述文本识别模型是采用上述的文本识别模型的构建方法得到的。

根据本公开的另一方面，提供了一种文本识别模型的构建装置，包括：样本集获取模块，用于获取文本图像样本集以及字符串样本集；第一训练模块，用于采用所述文本图像样本集对预设的第一神经网络模型进行训练，得到图像编解码模型；所述图像编解码模型包括第一编码器和第一解码器；第二训练模块，用于采用所述字符串样本集对预设的第二神经网络模型进行训练，得到文字编解码模型；所述文字编解码模型包括第二编码器和第二解码器；联合训练模块，用于基于所述第一编码器的输出内容以及所述第二编码器的输出内容，通过预设的跨模态判别器对所述图像编解码模型和所述文字编解码模型进行联合训练，直至所述跨模态判别器无法区分所述第一编码器的输出内容以及所述第二编码器的输出内容时结束训练；模型构建模块，用于采用联合训练后的所述第一编码器以及联合训练后的所述第二解码器构建文本识别模型；其中，所述文本识别模型用于对待识别文本图像进行识别，得到所述待识别文本图像中的文本字符。

根据本公开的另一方面，提供了一种文本识别装置，包括：图像获取模块，用于获取待识别文本图像；模型识别模块，用于通过文本识别模型对所述待识别文本图像进行识别，得到文本字符识别结果；其中，所述文本识别模型是采用上述的文本识别模型的构建方法得到的。

根据本公开的另一方面，提供了一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上述的文本识别模型的构建方法，或者，执行根据上述的文本识别方法。