[发明专利]文本特征提取方法、装置、服务器和存储介质

说明书

技术领域

本发明实施例涉及文本分析领域，尤其涉及文本特征提取方法、装置、服务器和存储介质。

背景技术

互联网技术的高速发展引起了信息量的爆炸式增长，面对庞大的数据信息，如何在大规模的文本异构信息中准确、快速、全面地查找到个人所需的特定信息，已经成为了一项具有非常重要意义的研究课题。

在组织和管理海量文本信息技术领域中文本分类是一种非常有效的技术手段。特征提取方法因其快速、简单、便捷的优点，在文本分类领域中得到广泛的应用。

现有的文本特征提取方法，一般采用中文词汇特征词权重计算方法，提取权重高的词汇为文本特征。采用的方法有：词频权重计算方法(term frequency –inverse document frequency，TF-IDF)、互信息权重计算方法、卡方统计量权重计算方法、信息增益权重计算方法。

TF-IDF词频权重计算方法，依据文本集中词汇的词频与逆文档频率计算词汇在文本集中的权重，依据权重值提取权重高的词汇作为文本集的特征词集。

互信息权重计算方法、卡方统计量权重计算方法、信息增益权重计算方法，都是计算文本集中词项与文本类别的相关度，提取与文本类别关联度高的词项作为文本集的特征集。

这四种方法的缺点是：第一种方法的缺点是，该方法与文本的类别关联度不高，不能准确的标识文本特征；第二种方法、第三种方法和第四种方法都是依据统计的方法，依据文本的类别与文本中词汇出现频率的关联关系，提取出词汇与文本类别关联度高的词汇作为特征，缺点是不能得到词汇间的关联，使词汇标识文本不够准确。

发明内容

有鉴于此，本发明实施例的目的是提出文本特征提取方法、装置、服务器和存储介质，挖掘词汇标识符序列中的频繁项获取文本特征规则，提高提取词汇与文本类别关联度，加强了提取词汇之间的关联，以提高文本分类的准确度。

为实现上述目的，本发明实施例采用如下技术方案：

第一方面，本发明实施例提供了一种文本特征规则的提取方法，包括：

切分文本集中包含的各文本，得到所述各文本的词汇序列；

将不同文本中相似度大于相似度阈值的词汇用相同标识符表示，相似度小于或等于所述相似度阈值的词汇用不同标识符表示，得到各文本的标识符序列；

提取各标识符序列中的频繁项，依据所述频繁项对应的词汇组合成文本特征规则。

进一步地，将不同文本中相似度大于相似度阈值的词汇用相同标识符表示之前，还包括：

确定各文本中词汇序列的词向量；

依据不同文本对应的词向量，确定不同文本中词汇的相似度。

进一步地，依据不同文本对应的词向量，确定不同文本中词汇的相似度，包括：

确定不同文本对应的词向量之间夹角的余弦值；

依据所述余弦值确定对应词汇的相似度。

进一步地，提取各标识符序列中的频繁项，依据所述频繁项对应的词汇组合成文本特征规则，包括：

将各标识符序列中出现频次大于预设数值的标识确定为各标识符序列中的频繁项；

将各标识符序列中频繁项对应的词汇进行组合生成文本特征规则。

第二方面，本发明实施例提供了一种文本特征规则的提取装置，包括：

词汇序列获取模块，用于切分文本集中包含的各文本，得到所述各文本的词汇序列；

标识符序列获取模块，用于将不同文本中相似度大于相似度阈值的词汇用相同标识符表示，相似度小于或等于所述相似度阈值的词汇用不同标识符表示，得到各文本的标识符序列；

特征规则获取模块，用于提取各标识符序列中的频繁项，依据所述频繁项对应的词汇组合成文本特征规则。

进一步地，该装置还包括：

词向量确定模块，用于确定各文本中词汇序列的词向量；

相似度确定模块，用于依据不同文本对应的词向量，确定不同文本中词汇的相似度。

进一步地，所述相似度确定模块，包括：

余弦值确定子模块，用于确定不同文本对应的词向量之间夹角的余弦值；

相似度确定子模块，用于依据所述余弦值确定对应词汇的相似度。

进一步地，所述特征规则获取模块，包括：

频繁项确定子模块，用于将各标识符序列中出现频次大于预设数值的标识确定为各标识符序列中的频繁项；

特征规则合成子模块，用于将各标识符序列中频繁项对应的词汇进行组合生成文本特征规则。

第三方面，本发明实施例提供了一种服务器，包括：