[发明专利]一种用于非结构化文本的短语提取方法及装置

权利要求书

1.一种用于非结构化文本的短语提取方法，其特征在于，包括：

生成每种短语类型的短语提取规则；

获取非结构化文本；

根据所述短语提取规则，从所述非结构化文本中提取出短语。

2.根据权利要求1所述的一种用于非结构化文本的短语提取方法，其特征在于，所述生成每种短语类型的短语提取规则具体包括：

建立短语类型库，所述短语类型库包括多种短语类型；

获取每种短语类型的训练样本集，所述训练样本集包括训练文本及提取出的短语；

根据每种短语类型的训练样本集，生成每种短语类型对应的短语提取规则。

3.根据权利要求2所述的一种用于非结构化文本的短语提取方法，其特征在于，所述根据每种短语类型的训练样本集，生成每种短语类型对应的短语提取规则具体包括：

对训练样本集中的每个训练文本进行分词，得到每个训练文本对应的各个词语、词语的词性，以及词语的位置序列；

根据每个训练文本提取出的短语，分析得到每种短语类型对应的短语提取特征，其中，所述短语提取特征包括词性组合特征以及词语位置特征；

利用机器学习方法，根据所得到的所述提取特征，生成每种短语类型对应的短语提取规则。

4.根据权利要求1-3任一项所述的一种用于非结构化文本的短语提取方法，其特征在于，还包括：

获取基础词语；

所述根据所述短语提取规则，从所述非结构化文本中提取出短语具体包括：

根据所述短语提取规则和所述基础词语，从所述非结构化文本中提取出包含所述基础词语的短语。

5.根据权利要求4所述的一种用于非结构化文本的短语提取方法，其特征在于，所述根据所述短语提取规则和所述基础词语，从所述非结构化文本中提取出包含所述基础词语的短语具体包括：

在所述非结构化文本中找到所述基础词语；

以所述基础词语为基础，根据所述短语提取规则及所述基础词语的词性，从所述非结构化文本中找到符合提取特征的目标词语；

组合所述基础词语和所述目标词语，得到包含所述基础词语的短语。

6.一种用于非结构化文本的短语提取装置，其特征在于，包括：

规则生成模块，用于生成每种短语类型的短语提取规则；

文本获取模块，用于获取非结构化文本；

短语提取模块，用于根据所述短语提取规则，从所述非结构化文本中提取出短语。

7.根据权利要求6所述的一种用于非结构化文本的短语提取装置，其特征在于，所述规则生成模块包括：

短语库建立单元，用于建立短语类型库，所述短语类型库包括多种短语类型；

样本集获取单元，用于获取每种短语类型的训练样本集，所述训练样本集包括训练文本及提取出的短语；

规则生成单元，用于根据每种短语类型的训练样本集，生成每种短语类型对应的短语提取规则。

8.根据权利要求7所述的一种用于非结构化文本的短语提取装置，其特征在于，所述规则生成单元包括：

分词子单元，用于对训练样本集中的每个训练文本进行分词，得到每个训练文本对应的各个词语、词语的词性，以及词语的位置序列；

特征分析子单元，用于根据每个训练文本提取出的短语，分析得到每种短语类型对应的短语提取特征，其中，所述短语提取特征包括词性组合特征以及词语位置特征；

规则生成子单元，用于利用机器学习方法，根据所得到的所述提取特征，生成每种短语类型对应的短语提取规则。

9.根据权利要求6-8任一项所述的一种用于非结构化文本的短语提取装置，其特征在于，还包括：

词语获取模块，用于获取基础词语；

所述短语提取模块，还用于根据所述短语提取规则和所述基础词语，从所述非结构化文本中提取出包含所述基础词语的短语。

10.根据权利要求9所述的一种用于非结构化文本的短语提取装置，其特征在于，所述短语提取模块包括：

基础词语查找单元，用于在所述非结构化文本中找到所述基础词语；

目标词语查找单元，用于以所述基础词语为基础，根据所述短语提取规则及所述基础词语的词性，从所述非结构化文本中找到符合提取特征的目标词语；

词语组合单元，用于组合所述基础词语和所述目标词语，得到包含所述基础词语的短语。