[发明专利]一种文档图像分类方法及装置

权利要求书

1.一种文档图像分类方法，其特征在于，所述文档图像具有文本特征向量和图像特征向量，所述方法对文本特征向量提取模型和图像特征向量提取模型分别进行训练，利用文本特征向量和图像特征向量相融合的嵌入特征方式提取文档图像的融合特征向量，基于融合特征向量的相似性实现对文档图像进行分类，所述文本特征向量描述的是文本内容信息，所述图像特征向量描述的是图像结构特征，

其中，所述方法包括：

步骤1：选取用于对特征向量提取模型进行训练的文档图像训练集合，提取各文档图像的训练融合特征向量，对文本特征向量提取模型和图像特征向量提取模型进行训练；

步骤2：选取用于对注册融合特征向量进行注册的文档图像注册集合，提取各文档图像的注册融合特征向量，并分别存入数据库进行注册；

步骤3：针对待分类的文档图像分类集合，提取各文档图像的分类融合特征向量，计算分类融合特征向量与各注册融合特征向量的相似度，根据相似度计算结果对文档图像进行分类，

其中，所述步骤1具体包括：

步骤11：选取文档图像训练集合，所述文档图像训练集合包括M个文档图像训练样本，M为整数；

步骤12：将M个文档图像训练样本按照不同的类别进行分类；

步骤13：输入文档图像训练集合中的第r个文档图像，并进行方向校正，r为整数，且1≤r≤M；

步骤14：通过文本特征向量提取模型和图像特征向量提取模型提取第r个文档图像的文本特征向量和图像特征向量；

步骤15：获得第r个文档图像的文本特征向量和图像特征向量相融合的训练融合特征向量；

步骤16：基于文档图像训练集合的M个训练融合特征向量对文本特征向量提取模型和图像特征向量提取模型进行训练，

其中，所述方法基于文档图像训练集合的M个训练融合特征向量采用三元组损失函数对文本特征向量提取模型和图像特征向量提取模型进行训练，所述三元组损失函数为：

其中，N为文档图像训练样本集合，i为其中某一样本实例的三元组表示Anchor样本，表示Positive样本，表示Negative样本，分别是的特征表达，α为最小间隔。

2.根据权利要求1所述的方法，其特征在于，第r个文档图像的文本特征向量和图像特征向量的融合方式包括：

若第r个文档图像的文本特征向量和图像特征向量的向量长度相等，则相加以进行融合；或

将第r个文档图像的文本特征向量和图像特征向量直接拼接以进行融合；或

对第r个文档图像的文本特征向量和图像特征向量进行向量拼接，经过全连接网络，以进行融合，从而得到训练融合特征向量。

3.根据权利要求1所述的方法，其特征在于，所述步骤2具体包括：

步骤21：选取文档图像注册集合，所述文档图像注册集合包括K个文档图像，K为整数；

步骤22：输入文档图像注册集合中的第t个文档图像，并进行方向校正，t为整数，且1≤t≤K；

步骤23：通过训练后的文本特征向量提取模型和图像特征向量提取模型提取第t个文档图像的文本特征向量和图像特征向量；

步骤24：获得第t个文档图像的文本特征向量和图像特征向量相融合的注册融合特征向量；

步骤26：将K个注册融合特征向量分别存入数据库，进行注册。

4.根据权利要求3所述的方法，其特征在于，所述步骤3具体包括：

步骤31：选取文档图像分类集合，所述文档图像分类集合包括L个文档图像，L为整数；

步骤32：输入文档图像分类集合中的第q个文档图像，并进行方向校正，q为整数，且1≤q≤L；

步骤33：通过训练后的文本特征向量提取模型和图像特征向量提取模型提取第q个文档图像的文本特征向量和图像特征向量；

步骤34：获得第q个文档图像的文本特征向量和图像特征向量相融合的分类融合特征向量；

步骤35：计算第q个文档图像的分类融合特征向量与数据库中的K个注册融合特征向量的相似度，根据相似度计算结果对第q个文档图像进行分类。

5.根据权利要求4所述的方法，其特征在于，采用欧氏距离、马氏距离或余弦距离作为第q个文档图像的分类融合特征向量与数据库中的K个注册融合特征向量的相似度判断依据。