[发明专利]一种从文献中提取插图及其标题的方法

说明书

本发明公开一种从文献中提取插图及其标题的方法，属于计算机应用技术领域及深度学习图像实例分割领域。本发明所述方法为收集文献并进行预处理，将文献随机分为训练集和测试集；将训练集中的样本数据输入FCENet插图标题提取网络，进行训练，得到box及mask掩码信息，所述FCENet包括：骨干网络，注意力模块，检测网络和掩码分支；利用box及mask掩码信息，对插图及其标题进行提取；本发明所述方法解决了从文献中提取插图及其标题的问题，可以将文献中的插图和其对应的标题提取出来，与传统基于手动提取特征的方法相比，节省了时间并且提高了准确率。

技术领域

本发明涉及一种从文献中提取插图及其标题的方法，属于计算机应用技术领域及深度学习图像实例分割领域。

背景技术

文献中的插图和标题包含了文献的重要思想、整体流程以及分析结果，分析和理解文献中的插图及标题有利于读者更好的理解文献，也可以收集部分图像数据用于其他科研中。从文献中提取插图和标题，之前的方法大多是基于手动选取特征，其结果是否准确取决于所选特征的好坏，且鲁棒性不是很好。为了更快、更精确地提取文献中的插图及其标题，急需寻找一种更快更精准的方法来从文献中提取插图及其标题。

发明内容

本发明的目的在于提供了一种从文献中提取插图及其标题的方法，能够从文献中提取插图及其对应的标题，便于阅读、分析与理解文献，也可以收集部分材料图像数据。

为实现上述目的，本发明提供了如下方案：

一种从文献中提取插图及其标题的方法，包括以下步骤：

S1收集文献并进行预处理，将文献随机分为训练集和测试集。

S2将训练集中的样本数据输入FCENet，进行训练，得到box及mask掩码信息，所述FCENet包括：骨干网络，注意力模块，检测网络和掩码分支。

所述骨干网络包括残差网络ResNet和特征金字塔网络FPN，用于提取特征，通过将样本数据输入骨干网络，得到特征图P。

所述注意力模块由水平注意力模块和垂直注意力模块组成，包括7个卷积层和一个concat层，用于对特征图P中的水平和垂直方向特征进行加权。

所述检测网络由插图检测网络和标题检测网络组成，其中插图检测网络和标题检测网络分别由5个卷积层组成，用于对目标进行分类和回归。

所述掩码分支由底部模块、顶部模块和混合模块组成，其中底部模块由7个卷积层和1个线性插值层组成，用于预测底部细节信息；顶部模块由两个卷积层组成，用于预测顶部语义信息；混合模块则是将底部细节信息与高层语义信息进行融合，生成最终的目标实例掩码。

S3利用box及mask掩码信息，对插图及其标题进行提取。

优选的，本发明所述步骤S1中，预处理过程包括：将PDF格式的文献转化为JPEG格式的图片，文献每一页对应一张JPEG格式的图片，并将所有图片resize到统一尺寸大小，分为训练集和测试集。

优选的，本发明所述步骤S2中，对特征图P中的水平方向特征和垂直方向特征进行加权的具体过程如下：

计算基础特征图P′_b

P_b＝f^1×1(P)，

计算水平注意力图H′

P_H＝f^1×1(P)，H＝f^7×1(P_H)，H′＝f_HAM(H)

计算垂直注意力图V′