[发明专利]基于布局关联性的视觉富文档信息抽取方法、系统及介质

权利要求书

1.一种基于布局关联性的视觉富文档信息抽取方法，其特征在于，包括以下步骤：

获取视觉富文档图像，并对视觉富文档图像进行标注，获得数据集；

构建针对布局关联性的文档信息抽取模型，采用数据集对文档信息抽取模型进行训练；

获取视觉富文档图片，将视觉富文档图片输入训练后的文档信息抽取模型，获得信息抽取结果；

其中，布局关联性指的是静态字段和动态字段之间的位置关系，静态字段为同一模板中文字固定的字段，动态字段为同一模板中根据实际内容变化的字段。

2.根据权利要求1所述的一种基于布局关联性的视觉富文档信息抽取方法，其特征在于，

所述文档信息抽取模型的训练过程，包括：

将字段中不同的语义表示为一个1024维的嵌入向量，将字段的位置特征量化为数字，将处理好的语义和位置特征输入作为输入特征；

对预设模型中每个类别计算这个类别里面所有输入特征的均值，作为每个类别的类别中心；

通过衡量样本与类别中心的距离来完成分类。

3.根据权利要求1所述的一种基于布局关联性的视觉富文档信息抽取方法，其特征在于，

所述文档信息抽取模型对输入的视觉富文档图片进行如下处理：

获取视觉富文档图片中每个独立的字段，作为图中的节点；

获取节点之间的边连接关系；其中，边连接关系为{|X_i-j|，|Y_i-j|，W_i/W_j，H_i/H_j}，|X_i-j|表示两个字段节点在横坐标上的距离，|Y_i-j|表示两个字段节点在纵坐标上的距离，W_i/W_j表示两个字段节点对应的两个矩形框的宽的比值，H_i/H_j表示两个字段节点对应的两个矩形框的高的比值；

获取所有的静态字段和动态字段之间连接关系，根据连接关系获取静态字段和动态字段之间的匹配关系。

4.根据权利要求3所述的一种基于布局关联性的视觉富文档信息抽取方法，其特征在于，

所述匹配关系通过以下方式获得：

获取预设字段和所有字段之间的匹配概率值；

选取匹配概率值大于阈值的匹配关系表示两个字段之间是一种匹配关系。

5.根据权利要求3所述的一种基于布局关联性的视觉富文档信息抽取方法，其特征在于，

所述匹配关系包括一对一的匹配关系、一对多的匹配关系以及多对一的匹配关系；

当出现一对多的匹配关系以及多对一的匹配关系时，根据概率值获取最优的概率匹配。

6.根据权利要求4所述的一种基于布局关联性的视觉富文档信息抽取方法，其特征在于，

所述根据概率值获取最优的概率匹配，包括：

获取每个动态字段的关于分类结果的概率值R；

将每个动态字段的关于分类结果的概率值R按从大到小顺序排序；

遍历概率值R的集合中的元素i；

将概率值排名前三的元素i添加到集合Q中；

遍历概率值R的集合中除了元素i的其他元素j；

如果当前概率值的累加概率和，大于集合中已有的概率累加和，则将当前的概率值添加进集合Q中，同时剔除掉旧的值；

更新集合Q。

7.根据权利要求1所述的一种基于布局关联性的视觉富文档信息抽取方法，其特征在于，

所述视觉富文档图像包括车票图像、发票图像、证书图像以及证件图像。