[发明专利]混贴票据图像的处理方法、装置、计算机设备及存储介质

权利要求书

1.一种混贴票据图像的处理方法，其特征在于，所述方法包括：

获取混贴票据图像，所述混贴票据图像中包括多个票据对象；

从所述混贴票据图像中分割出所述多个票据对象，得到对应每个票据对象的票据子图像；

确定所述票据子图像对应的图像特征向量和文本特征向量，根据所述票据子图像对应的图像特征向量和文本特征向量确定所述票据子图像的目标票据类型；

基于与所述目标票据类型相匹配的内容字段区域检测模型，确定所述票据子图像中的内容字段区域以及所述内容字段区域对应的字段类别标签；

识别所述内容字段区域中的文本信息，根据所述内容字段区域对应的字段类别标签确定所述文本信息的输出。

2.根据权利要求1所述的混贴票据图像的处理方法，其特征在于，所述从所述混贴票据图像中分割出所述多个票据对象，得到对应每个票据对象的票据子图像包括：

基于基础卷积神经网络对所述混贴票据图像进行特征提取，得到所述混贴票据图像的第一特征图；

基于第一区域建议网络确定所述第一特征图中的候选兴趣区域；

基于第一目标检测网络对所述候选兴趣区域进行票据对象检测，得到每个票据对象的第一位置信息；

基于掩膜分割网络对所述候选兴趣区域中的票据对象进行分割掩膜的预测，得到每个票据对象的预测分割掩膜；

根据所述票据对象的预测分割掩膜对所述票据对象的第一位置信息进行调整，得到每个票据对象的第二位置信息；

根据所述票据对象的第二位置信息从所述混贴票据图像中截取所述票据对象，得到对应每个票据对象的票据子图像。

3.根据权利要求1所述的混贴票据图像的处理方法，其特征在于，所述确定所述票据子图像对应的图像特征向量和文本特征向量包括：

将所述票据子图像输入至图像分类网络，获取所述图像分类网络中全连接层的输出特征；

将所述图像分类网络中全连接层的输出特征作为所述票据子图像的图像特征向量；

将所述票据子图像输入至文本检测识别网络进行文本的检测识别，确定所述票据子图像中的关键文本信息；

将所述关键文本信息转换为预设维数的向量得到所述文本特征向量，所述预设维数不小于所述图像特征向量的维数。

4.根据权利要求3所述的混贴票据图像的处理方法，其特征在于，所述将所述票据子图像输入至文本检测识别网络进行文本的检测识别，得到所述票据子图像中的关键文本信息包括：

基于文本检测识别网络对所述票据子图像中的文本进行检测识别，得到所述票据子图像对应的全量文本信息；

从所述全量文本信息中筛选与预设关键信息库中的预设关键信息相匹配的文本信息，所述相匹配的文本信息作为所述票据子图像的关键文本信息；

其中，所述预设关键信息库中的预设关键信息对应于多个预设票据类型的票据对象中所包含的特定内容指示字段。

5.根据权利要求3所述的混贴票据图像的处理方法，其特征在于，所述根据所述票据子图像对应的图像特征向量和文本特征向量确定所述票据子图像的目标票据类型包括：

拼接所述票据子图像对应的图像特征向量和所述文本特征向量，得到所述票据子图像对应的拼接特征向量；

基于所述票据子图像对应的拼接特征向量，通过随机森林模型进行分类处理得到所述票据子图像的目标票据类型。