[发明专利]混贴票据图像的处理方法、装置、计算机设备及存储介质

说明书

本发明公开了混贴票据图像的处理方法、装置、计算机设备及存储介质，该方法包括：获取混贴票据图像，所述混贴票据图像中包括多个票据对象；从混贴票据图像中分割出所述多个票据对象，得到对应每个票据对象的票据子图像；确定票据子图像对应的图像特征向量和文本特征向量，根据所述票据子图像对应的图像特征向量和文本特征向量确定目标票据类型；基于与所述目标票据类型相匹配的内容字段区域检测模型，确定票据子图像中的内容字段区域以及该内容字段区域对应的字段类别标签；识别所述内容字段区域中的文本信息，根据该内容字段区域对应的字段类别标签确定所述文本信息的输出。本发明提高了混贴票据中各票据文本信息的输出准确性和精度。

技术领域

本发明涉及计算机技术领域，特别涉及一种混贴票据图像的处理方法、装置、计算机设备及存储介质。

背景技术

财务报销的一个重要场景是差旅报销，在差旅报销过程中用户习惯采用混贴票据的方式将所有待报销的票据都粘贴在同一载体上，一并提交报销流程，这种同一载体上粘贴有多个待报销票据的图像即为混贴票据图像，混贴票据图像中各票据对象可能对应不同的票据类型，例如可能包括火车票、增值税发票、定额发票、加油发票等等。

相关技术中，通过识别票据图像中的关键信息来实现票据报销，然而目前针对混贴票据图像的识别所输出的相关票据信息准确性较低、精度差，导致了财务报销结果的错误率增加。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种混贴票据图像的处理方法、装置、计算机设备及存储介质。所述技术方案如下：

一方面，提供了一种混贴票据图像的处理方法，所述方法包括：

获取混贴票据图像，所述混贴票据图像中包括多个票据对象；

从所述混贴票据图像中分割出所述多个票据对象，得到对应每个票据对象的票据子图像；

确定所述票据子图像对应的图像特征向量和文本特征向量，根据所述票据子图像对应的图像特征向量和文本特征向量确定所述票据子图像的目标票据类型；

基于与所述目标票据类型相匹配的内容字段区域检测模型，确定所述票据子图像中的内容字段区域以及所述内容字段区域对应的字段类别标签；

识别所述内容字段区域中的文本信息，根据所述内容字段区域对应的字段类别标签确定所述文本信息的输出。

另一方面，提供了一种混贴票据图像的处理装置，所述装置包括：

第一获取模块，用于获取混贴票据图像，所述混贴票据图像中包括多个票据对象；

分割模块，用于从所述混贴票据图像中分割出所述多个票据对象，得到对应每个票据对象的票据子图像；

票据类型确定模块，用于确定所述票据子图像对应的图像特征向量和文本特征向量，根据所述票据子图像对应的图像特征向量和文本特征向量确定所述票据子图像的目标票据类型；

区域检测模块，用于基于与所述目标票据类型相匹配的内容字段区域检测模型，确定所述票据子图像中的内容字段区域以及所述内容字段区域对应的字段类别标签；

文本识别模块，用于识别所述内容字段区域中的文本信息，根据所述内容字段区域对应的字段类别标签确定所述文本信息的输出。

可选的，所述分割模块包括：

第一特征提取模块，用于基于基础卷积神经网络对所述混贴票据图像进行特征提取，得到所述混贴票据图像的第一特征图；

第一确定模块，用于基于第一区域建议网络确定所述第一特征图中的候选兴趣区域；

第一检测模块，用于基于第一目标检测网络对所述候选兴趣区域进行票据对象检测，得到每个票据对象的第一位置信息；