[发明专利]一种基于n-gram模型的简历解析方法

说明书

本发明公开了一种基于n‑gram模型的简历解析方法，该方法为：预先收集简历样本，将常用字段关键词划分为不同类别形成分类词典，采用n‑gram模型统计出每一常用字段关键词转变到各样本关联词的转移概率，查找待解析简历中与常用字段关键词相匹配的目标关键词，如果目标关键词对应的转移概率大于预定阈值，根据目标关键词更新每一常用字段关键词对应的转移概率，并对待解析简历中的有效关键词增加前缀标注和后缀标注，对待解析简历的文本内容进行分段提取并输出。本发明能够基于n‑gram模型与词典分段技术进行自动化的简历解析，能够提高信息抽取准确率并支持不同文件格式，可为招聘网站、公司HR部门提供丰富的人才资源库。

技术领域

本发明涉及计算机科学技术领域，特别是涉及一种基于n-gram模型的简历解析方法。

背景技术

随着互联网技术的迅速发展，网络中容纳了海量的、类型各异的原始数据信息。在日常生活中，简历是一类十分常见而又重要的文本，它包含了作者的基本情况、工作经验等信息。因此，如何从海量的简历中自动、迅速、准确地抽取有用的信息，成为各大招聘网站、公司和企业的HR部门迫切需求。

简历解析本质上是文本信息抽取的应用体现。目前的文本信息抽取模型主要有3种：基于词典的抽取模型、基于规则的抽取模型和基于隐马尔可夫模型的抽取模型。

现有的应用上述3种文本信息抽取模型的简历解析方案多采用简单的关键字匹配方法，对自由格式的文本适应性弱、信息抽取准确率低，只能处理特定格式的简历。

发明内容

本发明主要解决的技术问题是提供一种基于n-gram模型的简历解析方法，能够提高信息抽取准确率并支持不同文件格式。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于n-gram模型的简历解析方法，包括：S1：收集预定数量的简历样本；S2：统计所述简历样本中的常用字段关键词，并将常用字段关键词按照不同描述类型划分为不同类别，形成分类词典；S3：将所述简历样本中紧邻每一常用字段关键词之后出现的非关键词记为样本关联词，并采用n-gram模型统计每一常用字段关键词转变到各样本关联词的转移概率；S4：将待解析简历的文件格式转换为纯文本格式；S5：采用最大匹配算法在所述待解析简历中查找与分类词典中的常用字段关键词相匹配的目标关键词；S6：判断所述目标关键词对应的转移概率是否大于预定阈值，如果大于预定阈值，则将目标关键词判定为有效关键词；S7：将所述待解析简历中紧邻每一有效关键词之后出现的非关键词记为有效关联词，并根据所述有效关联词更新每一常用字段关键词对应的转移概率；S8：利用所述分类词典对待解析简历中的有效关键词增加前缀标注和后缀标注；S9：根据所述前缀标注和后缀标注对待解析简历的文本内容进行分段提取，并将分段提取后的文本内容按照预定格式进行输出。

优选的，所述非关键词为连续两个字符，所述步骤S3具体为；采用tri-gram模型统计每一常用字段关键词转变到各样本关联词的转移概率。

优选的，所述步骤S5具体包括：将所述待解析简历的文本内容按照预定长度进行切分，形成待分词文本；扫描所述待分词文本，当扫描到与分类词典中的常用字段关键词相匹配的第一个字符时，从所述第一个字符开始记录，直到扫描不到与分类词典中的常用字段关键词相匹配的字符为止；将记录下的所有字符组成目标关键词。

优选的，所述根据所述有效关联词更新每一常用字段关键词对应的转移概率的步骤具体为：判断所述各样本关联词中是否存在与有效关联词相同的样本关联词；如果存在与有效关联词相同的样本关联词，则更新每一常用字段关键词转变到有效关联词的转移概率；如果不存在与有效关联词相同的样本关联词，则统计每一常用字段关键词转变到有效关联词的转移概率。

优选的，所述步骤S8具体包括：查询所述有效关键词在所述分类词典中所属的类别；按照所属的类别对待解析简历中的有效关键词增加前缀标注和后缀标注。