[发明专利]一种基于信息熵与词长信息改进的HIDFWL特征提取方法

说明书

本发明公开了一种基于信息熵与词长信息改进的HIDFWL特征提取方法，属于文本特征提取方法领域，包括：将训练集文本预处理得到文本列表和类别列表；将文本列表中所有不重复的特征词组成特征词列表；计算特征词表中特征词的IDF，所有特征词的IDF组成IDF向量；计算特征词的信息熵与词长权重，利用信息熵与词长权重计算得到信息值，将所有特征词的信息值组成文本向量；利用IDF向量与文本向量得到特征向量，并将特征向量归一化得到特征矩阵；利用特征矩阵与类别列表对分类器进行训练；利用测试文本对训练后的分类器进行测试；利用测试后的分类器对文本进分类。利用本发明所述的HIDFWL特征提取方法对文进行分类，提高了文本分类的准确率、查全率、召回率以及F1‑score值。

技术领域

本发明涉及文本特征提取的方法，具体涉及一种基于信息熵与词长信息改进的HIDFWL特征提取方法。

背景技术

随着互联网的迅速发展，每天的生活中数据文本也呈现着爆炸性的增长，对于文本分类的工作者来说，增加了巨大的工作量，面对大数据量的文本，采取人工手动的特征提取进行文本分类显得非常的困难，为了能高效的进行文本分类的工作，就有了文本分类的算法模型。文本分类的过程包括文本预处理、文本分词、去停用词、特征提取、训练分类器等，其中，特征提取对文本分类的效果有着非常大的影响，所以对特征提取算法的研究是很有必要的。

1988年，Salton G首次提出了TFIDF算法，并论证了TFIDF算法在文本分类中的有效性，TFIDF算法的核心思想是文本中词条x出现的频率大，文档集中包含词条x的文本数少就说明这个词条x有较大的区分能力(Erm-weighting approaches in automatic textretrieval[M].Pergamon Press,Inc.1988.)。

传统的TFIDF算法涉及到了两个概念：特征词在文本中的频率和特征词的逆文本频率(IDF)；其中，特征词在文本中的频率表达的是包含特征词x的文本在文本集中出现的频繁程度；包含特征词x的文本越小，就说明特征词x集中在少数的几个文本中，则特征词x区分文本的能力就强；传统的TFIDF算法具体的计算公式如公式1所示：

其中x表示的是词条；d表示文本；tf(x)表示的是词条x在文本中的频率；N为总的训练集文本数量；n为包含词条x的文本数；加0.01是为了防止分母为零。

随着传统的TFIDF算法在文本分类，信息检索模型中的普及，研究人员对传统的TFIDF算法进行了系统的优化，使其在实际应用中被广泛使用。

公开号为CN104699772B公开了一种基于云计算的大数据文本分类方法，包括如下步骤：对有类标和无类标的训练文本分别进行预处理，得到对应的训练数据集；对训练数据集分别进行特征选择，得到对应的降维后的训练数据集；对降维后的训练数据集分别按照TFIDF加权模型计算，从而将训练数据集分别转化为对应的一维向量；将有类标的一维向量按照贝叶斯算法计算，得到每个类别的先验概率和每个词条属于每个类别的先验概率，初始化贝叶斯分类器参数；利用EM算法优化贝叶斯分类器的参数，得到分类模型；利用分类模型对待分类的文本进行文本分类。

公开号为CN107633000A公开了一种基于TFIDF算法和相关词权重修正的文本分类方法，包括以下步骤：S1：提取出类别关键字；S2：构成滑动文本窗，设定词语权重并修正其在滑动文本窗的位置；S3：根据词频统计修正函数计算出词语的词频；S4：根据TFIDF算法加权计算,实现文本词语的向量化；S5：通过SVM分类器进行文本分类。

虽然传统的TFIDF算法在文本分类中被广泛应用，但是在实际的文本分类中，传统的TFIDF算法中没有考虑到文本内特征词的分布特征以及词长信息的问题造成了文本分类的准确率较低。

发明内容