[发明专利]一种从文献中提取插图及其标题的方法

权利要求书

1.一种从文献中提取插图及其标题的方法，其特征在于，具体包括以下步骤：

S1收集文献并进行预处理，将文献随机分为训练集和测试集；

S2将训练集中的样本数据输入FCENet，进行训练，得到box及mask掩码信息，所述FCENet包括：骨干网络，注意力模块，检测网络和掩码分支；

所述骨干网络包括残差网络ResNet和特征金字塔网络FPN，用于提取特征，通过将样本数据输入骨干网络，得到特征图P；

所述注意力模块由水平注意力模块和垂直注意力模块组成，包括7个卷积层和一个concat层，用于对特征图P中的水平和垂直方向特征进行加权；

所述检测网络由插图检测网络和标题检测网络组成，其中插图检测网络和标题检测网络分别由5个卷积层组成，用于对目标进行分类和回归；

所述掩码分支由底部模块、顶部模块和混合模块组成，其中底部模块由7个卷积层和1个线性插值层组成，用于预测底部细节信息；顶部模块由两个卷积层组成，用于预测顶部语义信息；混合模块则是将底部细节信息与高层语义信息进行融合，生成最终的目标实例掩码；

S3利用box及mask掩码信息，对插图及其标题进行提取；

所述混合模块的融合过程为：以底部模块和顶部模块的输出作为输入，包括基底B∈R^C×H×W，预测框顶部注意力A_fig＝{a_fig∈R^4×7×7}和A_title＝{a_title∈R^4×7×7}，具体如下：

融合顶部注意力A＝{a_t∈R^4×7×7|t＝1...T}

A＝CONCAT(A_fig，A_title)

生成目标区域

线性插值

生成注意力分数图

生成实例掩码m_t

所述步骤S3中，所述box是目标检测框，由检测网络得到，包含类别及位置坐标信息；

所述步骤S3中，所述mask掩码信息由掩码分支得到，是目标实例更精细的分割信息。

2.根据权利要求1所述的从文献中提取插图及其标题的方法，其特征在于：所述步骤S1中，预处理过程包括将PDF格式的文献转化为JPEG格式，文献每一页对应一张JPEG格式的图片，并将所有图片resize到统一尺寸大小。

3.根据权利要求1所述的从文献中提取插图及其标题的方法，其特征在于，所述步骤S2中，对特征图P中水平方向特征和垂直方向特征进行加权的具体过程如下：

计算基础特征图P_b′

P_b＝f^1×1(P)，

计算水平注意力图H′

P_H＝f^1×1(P)，H＝f^7×1(P_H)，H′＝f_HAM(H)

计算垂直注意力图V′

P_V＝f^1×1(P)，V＝f^1×7(P_V)，V′＝f_VAM(V)

得到加权后的特征图P_a＝f_CONCAT([P′_b，(H′+V′)]，dim＝1)

其中，f^1×1表示一个1×1卷积，表示两个5×5卷积，f^7×1表示一个7×1卷积，f^1×7表示一个1×7卷积，f_HAM表示水平注意力模块，f_VAM表示垂直注意力模块，f_CONCAT表示拼接，其中dim＝1表示在特征图的通道维度上，P_b，P_H，H，P_V，V都是计算过程中的特征图。