[发明专利]针对文字失真的对齐模型的训练方法及训练装置

权利要求书

1.一种针对文字失真的对齐模型的训练方法，其特征在于，所述对齐模型是用于将原始文档对应的无失真的原始图像与有失真的失真图像进行位置对齐的深度神经网络，所述训练方法包括：获取多个原始文档，并对所述多个原始文档中的各个原始文档的原始图像进行几何变换和基于文字骨架的位置对齐以获取标签图像，所述标签图像为对齐后的原始图像；分别将所述多个原始文档对应的原始图像、失真图像和标签图像中的文字区域对应的图像块作为第一图像集、第二图像集和第三图像集；获取所述对齐模型针对所述第一图像集和所述第二图像集进行预测而获得的预测集，所述预测集包括与所述第一图像集中的图像块对应的预测结果，并基于所述预测集中的预测结果确定所述第一图像集中的图像块对应的预测对齐图像块；基于所述第一图像集中的图像块对应的预测对齐图像块和所述第三图像集中对应的图像块确定第一损失函数，基于所述第一图像集中的图像块对应的预测对齐图像块的文字骨架和所述第二图像集中对应的图像块的文字骨架确定第二损失函数；并且基于所述第一损失函数和所述第二损失函数训练所述对齐模型，以获得训练后的所述对齐模型，其中，所述对齐模型的输入为所述第一图像集与所述第二图像集中位置匹配的每对图像块在通道维度上叠加的结果，所述对齐模型的输出为所述预测结果，所述预测结果为预测位移数据，所述预测位移数据用于对所述第一图像集的图像块中的像素点进行移动以确定所述第一图像集中的图像块对应的预测对齐图像块。

2.根据权利要求1所述的训练方法，其特征在于：

在所述几何变换中，基于各个原始文档的原始图像和失真图像中的文字区域对应的图像块获取几何变化参数，利用所述几何变换参数对各个原始文档的原始图像进行变换以使变换后的原始图像与失真图像之间的文字形状对齐。

3.根据权利要求1所述的训练方法，其特征在于：

在所述位置对齐中，针对各个原始文档，将所述几何变换后的原始图像的文字骨架作为第一骨架，将失真图像的文字骨架作为第二骨架，基于所述第一骨架和所述第二骨架之间的重叠程度确定所述几何变换后的原始图像中的预设位置在失真图像中的对齐位置，基于所述对齐位置将所述几何变换后的原始图像与失真图像的位置进行对齐。

4.根据权利要求1所述的训练方法，其特征在于：

将所述第三图像集中的各个图像块作为标签图像块，基于所述标签图像块与所述标签图像块对应的预测对齐图像块之间的相似度确定所述第一损失函数；和/或

将所述第二图像集中的各个图像块作为失真图像块，基于所述失真图像块的文字骨架与所述失真图像块对应的预测对齐图像块的文字骨架之间的重合程度确定所述第二损失函数。

5.根据权利要求1所述的训练方法，其特征在于：

所述图像块的尺寸大小一致，所述图像块中的文字的数量不小于1。

6.根据权利要求5所述的训练方法，其特征在于：

所述图像块的划分粒度包括单个字、多个字、单行文字和多行文字中的至少一种。

7.根据权利要求1所述的训练方法，其特征在于：

所述失真图像包括合法图像和翻拍图像中的至少一种，所述合法图像为由第一采集设备对所述原始图像进行采集获得的图像，所述翻拍图像为将所述合法图像打印至实物载体上得到打印图像，再由第二采集设备对所述打印图像进行采集获得的图像。

8.根据权利要求1所述的训练方法，其特征在于：

所述预测位移数据包括分别位于两个通道的第一位移图像和第二位移图像，所述第一位移图像中的各个位置的像素值表示用于对所述第一图像集的图像块的对应位置的像素点进行水平移动的水平参数，所述第二位移图像的各个位置的像素值表示用于对所述第一图像集的图像块的对应位置的像素点进行垂直移动的垂直参数。

9.一种针对文字失真的对齐模型的训练装置，其特征在于，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时执行根据权利要求1至8任一项所述的训练方法。