[发明专利]文档图像的处理方法、装置和存储介质

权利要求书

1.一种文档图像的处理方法，包括：

确定文档图像的图像特征图；

确定实体词的文本特征；

在所述图像特征图为多个的情况下，按照多个所述图像特征图的通道数从大到小的顺序，对多个所述图像特征图进行排序，以得到排序结果；

对所述文本特征和所述排序结果中排序在第一位的图像特征图进行拼接，以得到拼接特征；

将所述拼接特征输入到语义表示模型中，以通过所述语义表示模型对所述拼接特征进行语义融合，以得到第一语义特征图；

根据所述第一语义特征图和所述排序结果中排序在第二位至最后一位的图像特征图，确定所述文档图像的语义特征图；

根据所述语义特征图，确定所述文档图像中的位置信息，其中，所述位置信息用于指示感兴趣的实体词所在的文本区域的位置；

根据所述位置信息，从所述文档图像中确定出待识别的图像区域；

对所述图像区域进行文字识别，以得到所述实体词在所述文档图像中所对应的文本内容。

2.根据权利要求1所述的方法，其中，所述根据所述第一语义特征图和所述排序结果中排序在第二位至最后一位的图像特征图，确定所述文档图像的语义特征图，包括：

从所述第一语义特征图中确定出所述排序结果中排序在第一位的图像特征图所对应的第二语义特征图；

按照所述排序结果所指示的排序顺序，将所述第二语义特征图，依次与所述排序结果排序在第二位至最后一位的图像特征图进行融合；

获取对所述排序结果中排序在最后一位的图像特征图进行融合后所得到的融合特征图；

将所述融合特征图作为所述文档图像的语义特征图。

3.根据权利要求1-2中任一项所述的方法，其中，所述根据所述语义特征图，确定所述文档图像中所述实体词所在的文本区域的位置信息，包括：

对所述语义特征图进行上采样，以得到目标语义特征图，其中，所述目标语义特征图的尺寸与所述文档图像的尺寸相同；

根据所述目标语义特征图中各个像素点上的语义特征，确定所述目标语义特征图中各个像素点的概率值；

获取所述目标语义特征图中概率值大于预设概率阈值的目标像素点；

将所述目标像素点在所述目标语义特征图上的位置作为所述位置信息。

4.根据权利要求1所述的方法，其中，所述根据所述位置信息，从所述文档图像中确定出待识别的图像区域，包括：

从所述文档图像中，确定出包括所述位置信息的最小外接矩形区域；

将所述最小外接矩形区域作为所述图像区域。

5.一种文档图像的处理装置，包括：

第一确定模块，用于确定所述文档图像中的位置信息，其中，所述位置信息用于指示感兴趣的实体词所在的文本区域的位置；

第二确定模块，用于根据所述位置信息，从所述文档图像中确定出待识别的图像区域；

文字识别模块，用于对所述图像区域进行文字识别，以得到所述实体词在所述文档图像中所对应的文本内容；

所述第一确定模块，包括：

第一确定子模块，用于根据所述实体词和所述文档图像，确定所述文档图像的语义特征图；

第二确定子模块，用于根据所述语义特征图，确定所述文档图像中的所述位置信息；

所述第一确定子模块，包括：

第一确定单元，用于确定所述文档图像的图像特征图；

第二确定单元，用于确定所述实体词的文本特征；

生成单元，用于根据所述图像特征图和所述文本特征，生成所述文档图像的语义特征图；

在所述图像特征图为多个的情况下，所述生成单元，包括：

排序子单元，用于按照多个所述图像特征图的通道数从大到小的顺序，对多个所述图像特征图进行排序，以得到排序结果；

拼接子单元，用于对所述文本特征和所述排序结果中排序在第一位的图像特征图进行拼接，以得到拼接特征；

语义表示子单元，用于将所述拼接特征输入到语义表示模型中，以通过所述语义表示模型对所述拼接特征进行语义融合，以得到第一语义特征图；

确定子单元，用于根据所述第一语义特征图和所述排序结果中排序在第二位至最后一位的图像特征图，确定所述文档图像的语义特征图。