[发明专利]一种基于监督模型的泛词识别方法及装置

权利要求书

1.一种基于监督模型的泛词识别方法，其特征在于：包括

输入待识别词，并从数据库中获取待识别词的词特征组；

将所述词特征组输入监督模型，识别待识别词是否为泛词；

输出识别结果。

2.根据权利要求1所述的基于监督模型的泛词识别方法，其特征在于：在所述输入待识别词的步骤之前，还包括：

建立带有词特征组的数据库，所述数据库包括词语和每个词语对应的词特征组；

在数据库中建立样本数据集，所述样本数据集包括样本词语、样本词语相应的词特征组以及泛词标注；

将所述样本数据集输入分类模型中训练得到监督模型。

3.根据权利要求2所述的基于监督模型的泛词识别方法，其特征在于：在所述建立带有词特征组的数据库的步骤中，包括：

获取用于构建数据库的N篇文本的标题和正文；

对所述N篇文本进行分词得到分词结果；

获取分词结果中每个词语的词特征组；

将分词结果和分词结果中词语对应的词特征组整合，得到数据库。

4.根据权利要求2所述的基于监督模型的泛词识别方法，其特征在于：在所述在数据库中建立样本数据集的步骤中，包括：

从所述N篇文本中抽取M篇文本；

对所述M篇文本的标题进行分词得到分词结果；

从分词结果中随机抽取m个名词性的词语，作为样本；

从数据库中抽取处所述m个名词性的词语的词特征组；

对m个词语是否为泛词进行标注；

将m个词语、词语对应的词特征组和相应的标注整合，得到样本数据集。

5.根据权利要求2所述的基于监督模型的泛词识别方法，其特征在于：在所述将所述样本数据输入分类模型中训练得到监督模型的步骤中，包括：

分割样本数据集得到训练集和测试集；

将训练集输入到分类模型中进行训练；

将测试集输入到训练过的分类模型中进行测试，得到监督模型。

6.根据权利要求2或3所述的基于监督模型的泛词识别方法，其特征在于：所述词特征组包括词语本身特征的自身特征、词语在文本中的上下文特征以及词语在N篇文本中的总体特征。

7.一种基于监督模型的泛词识别装置，其特征在于：包括：

特征抽取模块，用于接收待识别词，并从数据库中获取待识别词的词特征组；

泛词识别模块，用于识别输入的待识别词是否为泛词；

结果输出模块，输出识别结果。

8.根据权利要求7所述的基于监督模型的泛词识别装置，其特征在于：还包括：

数据库建立模块，用于建立带有词特征组的数据库；

样本抽取模块，用于在数据库中建立样本数据集；

模型训练模块，用于根据样本数据集训练监督模型。