[发明专利]一种文档图像分类方法及装置

说明书

本发明公开了一种文档图像分类方法及装置，属于计算机视觉领域。该方法对文本特征向量提取模型和图像特征向量提取模型分别进行训练，利用文本特征向量和图像特征向量相融合的嵌入特征方式提取文档图像的融合特征向量，基于融合特征向量的相似性实现对文档图像进行分类。该方法能够快速注册、分类各种文档图像，可以极大地简化业务流程，简化OCR API，一个API就可以提供所有的文档识别，真正做到“一次接入永久使用”。

技术领域

本发明涉及计算机视觉领域，尤其是一种文档图像分类方法及装置。

背景技术

在各行各业目前还有很多纸质文档需要保存、处理、检索等，尤其在金融领域如银行、证券、保险、互金、财务、税务等行业。之前这些纸质文档的电子化一般是人工录入，随着OCR领域技术不断普及，很多行业逐步采用了OCR识别技术代替人工录入，很大程度提高了工作效率。但是目前能够很好的OCR识别并结构化的前提是需要明确知道文档的类别，否则很难有一个很好的结构化结果。另外很多场合比如银行柜台，目前应用是用户必须选择目前要识别的图像是什么类别，然后才能拍摄图像并识别，如果能够自动将输入的图像进行分类，就可以批量扫描，自动分类识别，将大大提高业务处理速度。还有一些SaaS服务，目前的接口都是按照各种处理的文档的类别来划分的，用户在调用之前必须明确知道图像内部，然后调用该类别接口进行识别和结构化，否则只能使用通用OCR，得到只是纯文本。

如果能够在图像OCR和结构化之前将图像的类别分类好，那么将会大大降低人工操作工作，同时也可以简化图像识别API。但是文档图像分类技术还存在以下难点：

1、样式多获取难：文档图像种类太多，不同领域有不同的文档类型，不可能都能够采集到用于训练，而且有时候是后期才加入的，无法预先获取，还有的文档是保密的，无法在非脱敏的情况下训练。

2、采集方式复杂：随着手机、平板、高拍仪、扫描仪、照相机等采集设备普及，特别是手机普及，文档图像获取方式从传统的扫描方式转向了拍摄方式，当前90％以上的文档图像都是拍摄而非扫描的，拍摄的图像由于背景比较复杂，所以比之扫描仪来说，在背景、分辨率、方向、光照、字体、字符大小等各种条件都不如扫描仪，而且无法统一规范。

3、图像内容复杂：需要分类的图像按照内容分非常复杂，有常用的卡证(身份证、银行卡、户口本、军官证等等)，有常用的财务发票(增值税发票、定额发票、交通票、行程单)，有各类银行单据(如进账单、支票、承兑汇票、转账凭证等等)，有各类合同、财务报表、书籍、报刊、杂志等等。有的带关键字而有的没有关键字，有的有表格线而有的没有表格线，有的带文档名称而有的没有文档名称。

发明内容

为了解决以上问题，本发明提供了一种文档图像分类方法，该方法针对各类文档图像的分类提供一套行之有效的方法，融合文档图像的图像级别特征和文本级别特征，通过特征相似性进行分类。该方法能够快速注册、分类各种文档图像，可以极大的简化业务流程，简化OCRAPI，一个API就可以提供所有的文档识别，真正做到“一次接入永久使用”。

根据本发明的第一方面，提供一种文档图像分类方法，其特征在于，所述文档图像具有文本特征向量和图像特征向量，所述方法对文本特征向量提取模型和图像特征向量提取模型分别进行训练，利用文本特征向量和图像特征向量相融合的嵌入特征方式提取文档图像的融合特征向量，基于融合特征向量的相似性实现对文档图像进行分类。

进一步的，所述方法包括：

步骤1：选取用于对特征向量提取模型进行训练的文档图像训练集合，提取各文档图像的训练融合特征向量，对文本特征向量提取模型和图像特征向量提取模型进行训练；

步骤2：选取用于对注册融合特征向量进行注册的文档图像注册集合，提取各文档图像的注册融合特征向量，并分别存入数据库进行注册；