[发明专利]文本识别模型的构建方法、文本识别方法、装置及设备

权利要求书

1.一种文本识别模型的构建方法，包括：

获取文本图像样本集以及字符串样本集；

采用所述文本图像样本集对预设的第一神经网络模型进行训练，得到图像编解码模型；所述图像编解码模型包括第一编码器和第一解码器；

采用所述字符串样本集对预设的第二神经网络模型进行训练，得到文字编解码模型；所述文字编解码模型包括第二编码器和第二解码器；

基于所述第一编码器的输出内容以及所述第二编码器的输出内容，通过预设的跨模态判别器对所述图像编解码模型和所述文字编解码模型进行联合训练，直至所述跨模态判别器无法区分所述第一编码器的输出内容以及所述第二编码器的输出内容时结束训练；

采用联合训练后的所述第一编码器以及联合训练后的所述第二解码器构建文本识别模型；其中，所述文本识别模型用于对待识别文本图像进行识别，得到所述待识别文本图像中的文本字符；

其中，所述基于所述第一编码器的输出内容以及所述第二编码器的输出内容，通过预设的跨模态判别器对所述图像编解码模型和所述文字编解码模型进行联合训练的步骤，包括：

将所述第一编码器的输出内容以及所述第二编码器的输出内容作为预设的跨模态判别器的输入内容，通过所述跨模态判别器判别所述输入内容的来源；所述来源为所述第一编码器或所述第二编码器；

基于所述跨模态判别器的判别结果对所述图像编解码模型和所述文字编解码模型进行联合训练，直至所述跨模态判别器无法准确判别出所述输入内容的来源时，确定所述跨模态判别器无法区分所述第一编码器的输出内容以及所述第二编码器的输出内容。

2.如权利要求1所述的文本识别模型的构建方法，其中，所述第一神经网络模型包括VAE模型；所述采用所述文本图像样本集对预设的第一神经网络模型进行训练，得到图像编解码模型的步骤，包括：

采用所述文本图像样本集和预设的第一损失函数对所述VAE模型中的编码器和解码器进行首次训练，直至所述第一损失函数收敛时训练结束，得到首次训练后的所述VAE模型；

基于首次训练后的所述VAE模型中的编码器得到图像编解码模型的第一编码器，以及基于首次训练后的所述VAE模型中的解码器得到所述图像编解码模型的第一解码器。

3.如权利要求2所述的文本识别模型的构建方法，其中，所述第一神经网络模型还包括与所述VAE模型相连的图像判别器；

所述基于首次训练后的所述VAE模型中的编码器得到图像编解码模型的第一编码器的步骤，包括：

获取首次训练后的所述VAE模型针对所述文本图像样本集的输出图像；

将所述输出图像以及所述文本图像样本集输入至所述图像判别器，通过所述图像判别器和预设的第二损失函数对首次训练后的所述VAE模型进行再次训练，直至所述第二损失函数收敛时训练结束，得到再次训练后的所述VAE模型；

将再次训练后的所述VAE模型中的编码器作为图像编解码模型的第一编码器。

4.如权利要求1至3任一项所述的文本识别模型的构建方法，其中，所述第二神经网络模型包括Transformer模型；所述采用所述字符串样本集对预设的第二神经网络模型进行训练，得到文字编解码模型的步骤，包括：

采用所述字符串样本集和预设的第三损失函数对所述Transformer模型中的编码器和解码器进行训练，直至所述第三损失函数收敛时训练结束，得到训练后的所述Transformer模型；

将所述Transformer模型中的编码器作为文字编解码模型的第二编码器，以及将所述Transformer模型中的解码器作为所述文字编解码模型的第二解码器。

5.一种文本识别方法，包括：

获取待识别文本图像；

通过预先构建的文本识别模型对所述待识别文本图像进行识别，得到文本字符识别结果；其中，所述文本识别模型是采用权利要求1至4任一项所述的文本识别模型的构建方法得到的。