[发明专利]一种融合视觉与文本特征的简历版面分析算法

说明书

本发明公开了一种融合视觉与文本特征的简历版面分析算法，该简历版面的分析包括以下步骤：步骤1：从pdf读取程序或ocr引擎中得到文本行及其坐标；步骤2：使用神经网络对第i行的文本进行编码，得到文本嵌入向量text_emb(i)；步骤3：提取对应行的图像，得到图像嵌入向量img_emb(i)；步骤4：提取字号、文字长度特征，并进行归一化得到特征向量；步骤5：聚合步骤2、3、4得到的向量，得到行嵌入line_emb(i)；步骤6：使用神经网络对行向量序列[line_emb(i)]进行序列标注。本发明通过结合简历的视觉特征和文本语义特征，对简历进行语义划分，识别独立的段落单元。

技术领域

本发明涉及简历解析领域，尤其涉及一种融合视觉与文本特征的简历版面分析算法。

背景技术

传统的基于视觉的版面分析能区分图片、表格、段落等版面区域，但是很难识别区域的语义信息。在简历解析领域，需要对简历做语义解析，一般主要使用文字作为版面识别的主要依据，例如CN201810489651.X，将简历转化成文本之后，对文本进行建模处理，丢失了视觉特征，不能利用一些明显的视觉特点，比如分割线，字号大小，空白区域大小等等。

也有一些方法通过规则提取简单的视觉特征。例如CN201811613437.7，通过提取字号、是否加粗、字体种类、行文本长度等视觉特征，简历一个区分标题和主体的分类器。该方法没有考虑文本内容，使用字体等简单视觉特征，先区分标题和主体，将简历分块之后，对每块进一步进行处理。无法直接识别简历中不同段落单元的语义类别。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种融合视觉与文本特征的简历版面分析算法，本发明通过结合简历的视觉特征和文本语义特征，对简历进行语义划分，识别独立的段落单元。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种融合视觉与文本特征的简历版面分析算法，该简历版面的分析包括以下步骤：

步骤1）：从pdf读取程序或ocr引擎中得到文本行及其坐标；

步骤2）：使用神经网络对第i行的文本进行编码，得到文本嵌入向量text_emb(i)；

步骤3）：提取对应行的图像，得到图像嵌入向量img_emb(i)；

步骤4）：提取字号、文字长度特征，并进行归一化得到特征向量；

步骤5）：聚合步骤2、3、4得到的向量，得到行嵌入line_emb(i)；

步骤6）：使用神经网络对行向量序列[line_emb(i)]进行序列标注。

作为优选，所述步骤1中的pdf读取程序或ocr引擎通过简历版面得到的文本行及其坐标。

作为优选，所述步骤2中的文本进行编码前先对文本进行预处理，可以使用字符级处理或者词语级处理，然后再使用序列编码的神经网络；包括但不局限于LSTM、CNN和Transformer等等。

作为优选，所述步骤2中的文本进行编码时进一步得到文本特征，用于识别该行的语义类别。

作为优选，所述步骤3中的图像在提取时先对图像进行预处理，得到文字块的掩码图像特征，作为其中一个通道；所述图像嵌入向量采用CNN进行图片级、窗口级和/或行级提取：其中：

图片级：以整个图片作为单位，提取特征，根据坐标映射提取当前行对应的特征；

窗口级：以当前行为中心，截取一个窗口大小的图像，提取特征；

行级：截取当前行的图片，提取特征。