[发明专利]一种文本字词权重计算方法及系统、存储介质及终端

说明书

本发明提供一种文本字词权重计算方法及系统、存储介质及终端，包括以下步骤：获取文本集合和关键词集合；对所述文本集合的所有文本进行分词处理，获取多个字词形成的字词向量T和由字词和分隔符组成的文本形成的语料库；计算所述字词向量T第j个字词在所述语料库第i个文本的TF值；计算所述字词向量T第j个字词相对于所述语料库的DF值；基于所述关键词集合计算所述字词向量T第j个字词相对于所述语料库的IDF值；合并所述字词向量T第j个字词的DF值和IDF值，得到DFIDF值；计算所述字词向量T第j个字词在所述语料库第i个文本的权重。本发明的文本字词权重计算方法及系统、存储介质及终端能够满足不同应用场景下的字词权重计算需求，灵活性好。

技术领域

本发明涉及权重计算方法，特别是涉及一种文本字词权重计算方法及系统、存储介质及终端。

背景技术

在文本分类领域，常用的字词权重计算方法有以下两种：

(1)TFIDF(Term Frequency-Inverse Document Frequency)是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency)，IDF意思是逆文本频率指数(Inverse Document Frequency)。TFIDF的指导思想建立在这样一条基本假设之上：在一个文本中出现很多次的单词，在另一个同类文本中出现次数也会很多，反之亦然。所以如果特征空间坐标系取TF词频作为测度，就可以体现同类文本的特点。另外还要考虑单词区别不同类别的能力，TFIDF法认为一个单词出现的文本频率越小，它区别不同类别的能力就越大。所以引入了逆文本频度IDF的概念，以TF和IDF的乘积作为特征空间坐标系的取值测度。

(2)文档频数(Document Frequency，DF)是最为简单的一种特征选择算法，它指的是在整个数据集中有多少个文本包含这个单词。在训练文本集中对每个特征计算它的文档频次，并且根据预先设定的阈值去除那些文档频次特别低和特别高的特征。文档频数通过在训练文档数量中计算线性近似复杂度来衡量巨大的文档集，计算复杂度较低，能够适用于任何语料，因此是特征降维的常用方法。

具体地，TF指的是特定文本d中特定字词t出现的频率，记为TFtd；DF指的是一个文本集合中包含特定字词t的文档数目，记为DFt。如果某个字词t在某个文本d中出现多次，则仅计数一次；IDF是文本集合中文本的个数与DF的商的对数。DF假设DFt越大，则字词t越重要；IDF假设DFt越大，则字词t越不重要；TFIDF是TF和IDF的点积，反映了IDF相同的假设，即DFt越大，则字词t越不重要。

然而，现有的字词权重计算方法，要么假设文本集中所有字词的DF越大其重要性越高，要么假设文本集中所有字词的DF越大其重要性越低，不能满足同时要求文本集中，一些字词的DF越大其重要性越低，另外一些字词的DF越大其重要性越高的场景。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种文本字词权重计算方法及系统、存储介质及终端，能够满足不同应用场景下的字词权重计算需求，灵活性好，实用性强。

为实现上述目的及其他相关目的，本发明提供一种文本字词权重计算方法，包括以下步骤：获取文本集合和关键词集合；对所述文本集合的所有文本进行分词处理，获取多个字词形成的字词向量T和由字词和分隔符组成的文本形成的语料库；计算所述字词向量T第j个字词在所述语料库第i个文本的TF值TF_ij，其中i∈[1，m]，j∈[1，n]，m为所述语料库中文本的个数，n为所述字词向量T中字词的个数；计算所述字词向量T第j个字词相对于所述语料库的DF值DF_j；基于所述关键词集合计算所述字词向量T第j个字词相对于所述语料库的IDF值IDF_j；合并所述字词向量T第j个字词的DF值和IDF值，得到DFIDF值DFIDF_j；根据计算所述字词向量T第j个字词在所述语料库第i个文本的权重。