[发明专利]一种技能短语抽取方法

说明书

本发明涉及计算机自然语言处理中短语抽取技术领域，具体的讲是一种技能短语抽取方法，首先获取文本内容，对获取的文本进行预处理，即删除文本主题前方带有的数字或者特殊索引符号，然后利用分隔符将文本分割成句子片段，之后构造抽取规则，运行抽取规则抽取技能短语片段，再对抽取的片段进行清洗，删除词语序列中的修饰词等没有实际意义的词语，然后进行分词处理，最后针对分词后的词语序列进行短语构建，形成技能短语。本发明可以应用在非结构化数据中，例如企业招聘等领域，在实施中不需要构建训练集和分类器，降低了数据预备与算法训练成本，能够自动确定技能短语的长度，避免主观性，避免了统计法中阈值选择的难题。

技术领域

本发明涉及计算机自然语言处理中短语抽取技术领域，具体的讲是一种技能短语抽取方法。

背景技术

短语抽取的目的是为了从领域文本中获得能够表示领域概念的短语，常见的短语自动提取方法可以分为以下四种：语言学方法、统计方法、混合方法和机器学习方法。

语言学的方法通过定义语法和结构规则来抽取文本中的短语，通过定义由名词、介词、分词、形容词等的组合规则来从学科语料中抽取学科术语。

统计学方法是通过计算词语对的搭配强度来评估多词项是否能够组成一个短语，简单的搭配强度可以用互信息来表示，常用C值或者NC值来表示搭配强度(Frantzi etal.,2000)。如果多词项的C值大于预定的阈值，那么多词项a就被视为短语，否则就不能被视为短语。

混合方法则是值将语言学方法与统计学方法混合使用，先用语法规则产生备选短语，然后用统计学方法做筛选。

机器学习方法先构建短语的训练集，提取备选短语的形态特征、分布特征、上下文特征、特定领域等，然后训练分类器并用得到的分类器来识别短语。

这些现有的技术都有一个通用的问题，那就是只能用在一个语言相对稳定、规范的领域里，例如化学或者地理术语的提取，因为这些领域的术语都比较稳定、规范，不会出现同一个技能有不同的术语表达的问题。而在面对书写比较自由、术语实用不严谨的领域，例如企业与员工在书写简历、招聘广告、岗位描述、与岗位职责的时候，这些现有方法就会出现抽取错误、抽取漏词的问题。

为此设计一种可以在非结构化领域中准确抽取技能短语的方法是十分有必要的。

发明内容

本发明突破了现有技术的难题，设计了一种以个人简历、招聘广告等包含非结构化的、不标准的技能短短的语料为数据，构建数据处理步骤与算法，自动识别行业领域中所有高度可靠的技能短语的抽取方法。

为了达到上述目的，本发明设计了一种技能短语抽取方法，其特征在于：包括如下步骤：

S1预处理文本；

S2抽取技能短语片段；

S3清洗包含技能短语的结构；

S4构建技能短语；

S5生成技能短语。

进一步的，S1预处理文本的具体处理方法包括如下步骤：

S11抽取文本内容；

S12对抽取的文本内容进行清理；

S13标注词性；

S14用分隔符将文本分割为句子片段。

进一步的，S2抽取技能短语片段的具体处理方法包括如下步骤：

S21构造抽取包含技能短语的片段的抽取规则；

S22对每个原始文本数据，逐一运行抽取规则，选择字符数较多的匹配结果。

进一步的，S3清洗包含技能短语的结构的具体处理方法包括如下步骤：