[发明专利]一种融合多模态的简历版面分析方法及装置

权利要求书

1.一种融合多模态的简历版面分析方法，其特征在于，包括以下步骤：

(1)以简历图片为数据源，使用craft算法对简历图片里的文本行区域进行抽取，生成文本框，获取简历图片的文本位置信息；

(2)以简历图片为数据源，使用crnn算法对简历图片中的文本内容进行识别，获得文本自然语言信息；

(3)将文本自然语言信息作为输入，使用albert语言模型对自然语言信息进行编码，获得文本内容编码；

(4)将文本位置信息作为输入，使用正弦位置编码生成文本的位置编码；

(5)使用注意力机制融合文本内容编码和文本位置编码，设定简历内容的类别，对每个文本框进行分类，判断文本框的行关系，将应该属于一行的零碎文本框归纳为一行，使用注意力机制对文本行关系结果与文本框类别进行解码，输出文本行所属的类别，获得结构化简历。

2.根据权利要求1所述的一种融合多模态的简历版面分析方法，其特征在于，所述文本框为craft算法根据文字位置信息和文字间关联度信息，生成文字轮廓对应的正外接矩形。

3.根据权利要求1所述的一种融合多模态的简历版面分析方法，其特征在于，所述步骤(4)具体为，使用正弦位置编码构建位置编码字典，将0至p，一共p个位置都转为i维的向量，生成文本框的绝对位置编码，再使用softsign函数计算文本框之间的相对位置，生成文本框之间的相对位置编码。

4.根据权利要求3所述的一种融合多模态的简历版面分析方法，其特征在于，所述softsign函数为：

其中x为两个文本框的相差距离。

5.根据权利要求3所述的一种融合多模态的简历版面分析方法，其特征在于，所述p为正整数，根据简历版面内容信息量大小预设，i＝312。

6.根据权利要求1所述的一种融合多模态的简历版面分析方法，其特征在于，所述步骤(5)具体为：

(5.1)将文本内容编码与文本绝对位置信息融合，方法为：arr₁＝txt+abs，其中txt为文本内容编码矩阵，abs为文本绝对位置信息矩阵，arr₁为过程矩阵；

(5.2)进一步融合相对位置信息矩阵，方法为：arr₂＝arr₁*pos^T，其中pos为文本间相对位置信息矩阵，arr₂为注意力矩阵；

(5.3)注意力矩阵通过线性变换生成out₁和out₂，out₁用来判断当前文本框所属的类别，out₂用来判断文本框之间是否属于同一行；

(5.4)将一行中的文本框，从左至右排列，根据文本框所属类别的众数输出该行所属的类别，输出结构化简历。

7.根据权利要求1所述的一种融合多模态的简历版面分析方法，其特征在于，所述简历内容的类别包括，基本信息、工作经历、教育经历、培训经历、项目经历等与简历相关的文本类别。

8.一种融合多模态的简历版面分析装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-7任一项所述的融合多模态的简历版面分析方法。