[发明专利]文本特征词语的提取方法及装置、存储介质及程序产品

说明书

本发明提供一种文本特征词语的提取方法，基于文本组成的样本库进行，所述样本库包括不同类别的子样本库，在进行特征工程时，对各所述子样本库中的文本进行关键词的提取，以关键词作为目标词语，以获得各所述子样本库的子目标词语库；将各所述子目标词语库中的目标词语按照词频分别进行排序；根据所述排序结果，从各所述子目标词语库中确定特征词语，以获得特征词库。通过该方案，可以获得更为有效的特征词语，提高了特征词库的价值。

技术领域

本发明涉及人工智能领域，特别涉及一种文本特征词语的提取方法及装置、计算机可读存储介质、计算机程序产品。

背景技术

特征工程是构建性能优良的机器学习模型必不可少的步骤，通过特征工程，从样本数据中提取出对机器学习模型有效的特征。

非结构化文本的样本数据通常由单词、句子或者段落的文本流组成，具有非结构化的本质和噪声大的特征，通过特征工程，从非结构化文本的样本数据中提取出有效的特征词语，进而得到能够应用于机器学习的特征词库。对于获得的特征词库，其中的特征词语的数量越少且特征词语能代表文本的特征，则特征词库的价值越高，这样的特征词库可以有效降低机器学习时的处理规模，同时，提高机器学习的准确性。

目前，在对非结构化文本进行特征工程的过程中，在提取特征词时，主要是利用词频来筛选特征词，然而词语在文本中出现的频率高，并不一定表示该词语能代表文本的特征，可能是无效的特征词语，影响特征词库的价值。

发明内容

有鉴于此，本发明的目的在于提供一种文本特征词语的提取方法及装置、计算机可读存储介质、计算机程序产品，提高特征词库的价值。

为实现上述目的，本发明有如下技术方案：

一种文本特征词语的提取方法，基于文本组成的样本库进行，所述样本库包括不同类别的子样本库，所述方法包括：

对各所述子样本库中的文本进行关键词的提取，以关键词作为目标词语，以获得各所述子样本库的子目标词语库；

将各所述子目标词语库中的目标词语按照词频分别进行排序；

根据所述排序结果，从各所述子目标词语库中确定特征词语，以获得特征词库。

在一种可能的实现方式中，在获得子目标词语库之后，将各所述子目标词语库中的目标词语按照词频分别进行排序之前，还包括：

对各所述子目标词语库进行停用词的剔除。

在一种可能的实现方式中，在获得子目标词语库之后，将各所述子目标词语库中的目标词语按照词频分别进行排序之前，还包括：

将各所述子目标词语库中的同义词进行合并，而后，将所有所述子目标词语库之间共有的同义词进行删除。

在一种可能的实现方式中，所述根据所述排序结果，从各所述子目标词语库中确定特征词语，以获得特征词库，包括：

按照所述排序结果中词频由高至低的顺序，从各所述子目标词语库中选择预设数量的目标词语作为特征词语，以获得特征词库；

其中，所述特征词语的预设数量的确定方法包括：根据预设的各类别的子目标词语库对应特征词语数量的比例关系以及特征词语数量的规模系数，确定出从各所述子目标词语库中所选择的特征词语的数量。

在一种可能的实现方式中，在所述对各所述子样本库中的非结构化文本进行关键词的提取步骤中，所述关键词的数量的确定方法包括：

当文本的文本长度小于第一阈值，将关键词的数量设定为第一数量值；

当文本的文本长度大于第二阈值时，将关键词的数量设定为第二数量值，所述第二阈值大于所述第一阈值；