[发明专利]一种融合视觉与文本特征的简历版面分析算法

权利要求书

1.一种融合视觉与文本特征的简历版面分析算法，其特征在于：该简历版面的分析包括以下步骤：

步骤1）：从pdf读取程序或ocr引擎中得到文本行及其坐标；

步骤2）：使用神经网络对第i行的文本进行编码，得到文本嵌入向量text_emb(i)；

步骤3）：提取对应行的图像，得到图像嵌入向量img_emb(i)；

步骤4）：提取字号、文字长度特征，并进行归一化得到特征向量；

步骤5）：聚合步骤2、3、4得到的向量，得到行嵌入line_emb(i)；

步骤6）：使用神经网络对行向量序列[line_emb(i)]进行序列标注。

2.根据权利要求1所述的一种融合视觉与文本特征的简历版面分析算法,其特征在于:所述步骤1中的pdf读取程序或ocr引擎通过简历版面得到的文本行及其坐标。

3.根据权利要求1所述的一种融合视觉与文本特征的简历版面分析算法,其特征在于:所述步骤2中的文本进行编码前先对文本进行预处理，可以使用字符级处理或者词语级处理，然后再使用序列编码的神经网络；包括但不局限于LSTM、CNN和Transformer。

4.根据权利要求1所述的一种融合视觉与文本特征的简历版面分析算法,其特征在于:所述步骤2中的文本进行编码时进一步得到文本特征，用于识别该行的语义类别。

5.根据权利要求1所述的一种融合视觉与文本特征的简历版面分析算法,其特征在于:所述步骤3中的图像在提取时先对图像进行预处理，得到文字块的掩码图像特征，作为其中一个通道；所述图像嵌入向量采用CNN进行图片级、窗口级和/或行级提取：其中：

图片级：以整个图片作为单位，提取特征，根据坐标映射提取当前行对应的特征；

窗口级：以当前行为中心，截取一个窗口大小的图像，提取特征；

行级：截取当前行的图片，提取特征。

6.根据权利要求1所述的一种融合视觉与文本特征的简历版面分析算法,其特征在于:所述步骤4中的归一化是指对简历中的文字、字号做归一化处理；其中，字号可以使用排序归一化；字体，可以使用计数编码。

7.根据权利要求1所述的一种融合视觉与文本特征的简历版面分析算法,其特征在于:所述步骤5中的聚合包括但不限于拼接、平均、最大化池化。

8.根据权利要求1所述的一种融合视觉与文本特征的简历版面分析算法,其特征在于:所述步骤5中得到的向量具有多维度的特征，可以更准确的预测语义类别和段落单元的边界。

9.根据权利要求1所述的一种融合视觉与文本特征的简历版面分析算法,其特征在于:所述步骤6中的序列标注使用CNN或Transformer融合上下行信息，得到一个行向量可以选择再接一个CRF，输出序列标注，得到每一行的语义标注，进而得到每个语义段落单元的起止行号。