[发明专利]图像处理方法、装置、计算机设备以及存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取待识别图像，对所述待识别图像进行字符识别处理，得到识别结果；其中，所述识别结果包括识别到的数据序列，所述数据序列包括字符序列、图像序列和位置序列中的一个或多个，所述字符序列是所述待识别图像中的字符组成的序列，所述图像序列是所述字符序列中的每个字符在所述待识别图像中的切片组成的序列，所述位置序列是所述字符序列中的每个字符在所述待识别图像中的位置组成序列；

基于所述数据序列的多模态特征序列对所述数据序列进行序列标注处理，得到所述数据序列中每个数据的结构化类别；

根据所述数据序列和所述数据序列中每个数据的结构化类别，创建与所述待识别图像对应的结构化文档。

2.根据权利要求1所述的方法，其特征在于，当所述数据序列包括字符序列、图像序列和位置序列中的多个时，所述基于所述数据序列的多模态特征序列对所述数据序列进行序列标注处理，得到所述数据序列中每个数据的结构化类别，包括：

将所述数据序列包含的多个序列分别转为特征序列，并将多个特征序列对位拼接为所述数据序列的多模态特征序列；

调用多模态特征提取模型对所述多模态特征序列进行编码，得到多模态结构化特征序列；

调用结构化类别识别模型对所述多模态结构化特征序列进行解码，得到所述数据序列中每个数据的结构化类别。

3.根据权利要求2所述的方法，其特征在于，所述多模态特征提取模型是基于预训练任务所训练的特征提取模型，所述预训练任务包括替换任务、匹配任务和分类任务中的一个或多个；

所述替换任务是对第一模态样本序列进行数据替换处理，并根据第二模态样本序列预测处理后的第一模态样本序列中每个样本的替换结果，所述第一模态样本序列和所述第二模态样本序列是样本图像序列、样本字符序列和样本位置序列中的两个不同序列，所述样本字符序列是第一模态样本序列或第二模态样本序列；

所述匹配任务是预测样本图像子序列和样本字符子序列之间的上下文关系，所述样本图像子序列是所述样本图像序列的子序列，所述样本字符子序列是所述样本字符序列的子序列；

所述分类任务是预测所述样本字符序列的文档类别，所述样本图像序列、所述样本字符序列和所述样本位置序列之间均具有对应关系。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取第一模态样本序列和第二模态样本序列，对所述第一模态样本序列进行替换处理，得到替换样本序列；

将所述替换样本序列转换为替换特征序列，以及将所述第二模态样本序列转换为第二模态样本特征序列，将所述替换特征序列和所述第二模态样本特征序列对位拼接为第一样本多模态特征序列；

调用所述多模态特征提取模型对所述第一样本多模态特征序列进行编码，得到第一样本结构化特征序列；

调用替换判别模型对所述第一样本结构化特征序列进行解码，得到预测替换结果序列；

获取所述替换样本序列的替换结果标签序列，根据所述替换结果标签序列和所述预测替换结果序列训练所述多模态特征提取模型。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取样本图像序列，从所述样本图像序列中抽取样本图像子序列；

获取样本字符序列，从所述样本字符序列中抽取样本字符子序列；

将所述样本图像子序列转为样本图像特征子序列，并将所述样本字符子序列的样本字符特征子序列，将所述样本图像特征子序列和所述样本字符特征子序列对位拼接为第二样本多模态特征序列；

调用所述多模态特征提取模型对所述第二样本多模态特征序列进行编码，得到第二样本结构化特征序列；

调用关系判别模型对所述第二样本结构化特征序列进行解码，得到预测上下文关系；

获取所述样本图像子序列和所述样本字符子序列之间的上下文关系标签，根据所述预测上下文关系和所述上下文关系标签训练所述多模态特征提取模型。