[发明专利]一种基于机器学习和模糊规则的集成简历信息抽取方法

说明书

本发明公开了一种基于机器学习和模糊规则的集成简历信息抽取方法，包括：抽取简历、疑似简历和非简历文本的特征，通过特征信息，筛选简历文本；对筛选得到的简历文本进行词频统计，获取常用关键词并生成模糊匹配规则；使用模糊匹配规则对简历文本进行切分，并抽样检查分块结果，验证分块的正确率；针对简历文本切分后各个分块的数据分布特征，采用模糊匹配规则、序列标注或者分类的方法抽取简历文本具体的信息；使用订正策略对不合理的结果进行订正并输出结构化的简历信息。本发明有效的解决容了简历信息抽取过程易受无效信息干扰、分词粒度过小和实体指代不明的问题。

技术领域

本发明公开了一种基于机器学习和模糊规则的集成简历信息抽取方法，涉及自然语言处理中的信息抽取技术领域。

背景技术

在现有技术中，目前简历信息抽取技术常见的包括以下三种方法：1、使用统计分析和规则匹配抽取简历信息；2、使用机器学习算法抽取简历信息；3、使用规则和机器学习的组合的方法抽取信息。

方法1属于传统的抽取方法。首先统计出词频较高的标题词，如：姓名、电话、毕业院校、公司名称等。然后针对统计出的高频词或者期望提取的词，制定提取规则，实现信息的抽取。该方法虽然抽取的信息较准确，但能抽取的信息有限，规则不能覆盖到的数据将会丢失。

方法2通过将信息抽取问题抽象为序列标注问题，使用隐马尔可夫链(HMM)、条件随机场(CRF)、长短期记忆网络(LSTM)以及深度学习的方法抽取信息。该方法对规整的文本，抽取的效果较为明显。但简历数据格式繁杂，如：doc、docx、html、pdf等，将简历转换成净文本格式后，文本中可能含有错行、无效换行、无效字符等情况，此时单纯的使用机器学习方法抽取的效果较差。

方法3将规则匹配和机器学习方法组合起来抽取信息。该方法首先使用规则对固定格式的数据进行抽取，如：手机号、邮箱、生日、工作年限等，然后通过机器学习的方法抽取其它信息，如：个人其它基本信息、工作教育信息等。该方法是目前简历信息抽取的主流方法。但仍然存在容易受无效信息干扰、实体指代不明以及分词粒度过小的问题。无法规避非简历信息的干扰；简历中出现多个姓名时，无法确定简历作者本人的姓名；工作经历和教育经历中都出现学校名称时，无法区分该名称是工作单位还是学习学校；对于时间段

1988.06-1982.09，无法区分是学习时间段还是工作时间段等等。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷，提供一种基于机器学习和模糊规则的集成简历信息抽取方法，

本发明为解决上述技术问题采用以下技术方案：

一种基于机器学习和模糊规则的集成简历信息抽取方法，所述方法包括如下步骤：

步骤一、抽取简历、疑似简历和非简历文本的特征，通过特征信息，筛选简历文本；

步骤二、对筛选得到的简历文本进行词频统计，获取常用关键词并生成模糊匹配规则；

步骤三、使用模糊匹配规则对简历文本进行切分，并抽样检查分块结果，验证分块的正确率；

步骤四、针对简历文本切分后各个分块的数据分布特征，采用模糊匹配规则、序列标注或者分类的方法抽取简历文本具体的信息；

步骤五、使用订正策略对不合理的结果进行订正并输出结构化的简历信息。

作为本发明的进一步优选方案，所述步骤一的方法具体包括：

101、标注简历、疑似简历以及非简历样本；

102、使用特征抽取器抽取上述3类样本的特征，并训练分类模型；

103、输入文本到模型，输出简历、疑似简历、非简历三者之一。