[发明专利]基于特征分布信息的文本分类特征筛选方法

摘要

本发明公开了一种基于特征分布信息的文本分类特征筛选方法，用于解决现有的文本分类特征筛选方法准确度差的技术问题。技术方案是首先对文档集中每一篇文档进行预处理；再将整个文档集合表示为向量空间模型VSM；构造特征词典；统计每个类Ci包含特征词t的文档数DF(t，Cj)；计算出针对每个类Ci的归一化的tf*idf值，然后计算该特征词在每个类Ci内的离散度DIntra和平均类间离散度DInterAvg；计算文本特征空间中每个特征词tk在类别Ci中的权重wi(t)；将全部特征词按照其在整个文档集的权重降序排列，进行特征筛选时，优先保留排位靠前的特征词。该方法在特征分布系统的基础上，将特征分布系统运用到特征筛选过程中，提高了文本分类效率和准确率。

主权项

一种基于特征分布信息的文本分类特征筛选方法，其特征在于包括以下步骤：（1）.对文档集中每一篇文档进行分词、去除停用词以及取词干处理；（2）.将整个文档集合表示为向量空间模型VSM；（3）.从文档集合中抽取所有的特征词，构造特征词典；（4）.统计文本特征空间中每个特征词t在每篇文档dj中出现的频率TF(t，dj)，以及在每个类Ci中出现的频率TF(t，Ci)，同时统计每个类Ci包含特征词t的文档数DF(t，Cj)；（5）.根据步骤（4）得到的信息，对于每个特征词tk，首先计算出针对每个类Ci的归一化的tf*idf值，然后计算该特征词在每个类Ci内的离散度DIntra和平均类间离散度DInterAvg；（6）.根据步骤（4）、步骤（5）步得到的信息，利用下式计算文本特征空间中每个特征词tk在类别Ci中的权重wi(t)；wi(t)=tf*idf*DInterAvg*(1‑DIntra)将特征词tk在每个类别中的权重求和，即为该特征词在整个文档集的权重，即特征词tk的TDFS值； TDFS ( t ) = Σ i = 1 NC w i ( t ) （7）.将全部特征词按照其在整个文档集的权重降序排列，进行特征筛选时，优先保留排位靠前的特征词。