[发明专利]基于特征分布信息的文本分类特征筛选方法

权利要求书

1.一种基于特征分布信息的文本分类特征筛选方法，其特征在于包括以下步骤：

（1）.对文档集中每一篇文档进行分词、去除停用词以及取词干处理；

（2）.将整个文档集合表示为向量空间模型VSM；

（3）.从文档集合中抽取所有的特征词，构造特征词典；

（4）.统计文本特征空间中每个特征词t在每篇文档d_j中出现的频率TF(t，d_j)，以及在每个类C_i中出现的频率TF(t，C_i)，同时统计每个类C_i包含特征词t的文档数DF(t，C_j)；

（5）.根据步骤（4）得到的信息，对于每个特征词t_k，首先计算出针对每个类C_i的归一化的tf*idf值，然后计算该特征词在每个类C_i内的离散度DIntra和平均类间离散度DInterAvg；

（6）.根据步骤（4）、步骤（5）步得到的信息，利用下式计算文本特征空间中每个特征词t_k在类别C_i中的权重w_i(t)；

w_i(t)=tf*idf*DInterAvg*(1-DIntra)

将特征词t_k在每个类别中的权重求和，即为该特征词在整个文档集的权重，即特征词t_k的TDFS值；

TDFS(t)=Σi=1NCwi(t)]]>

（7）.将全部特征词按照其在整个文档集的权重降序排列，进行特征筛选时，优先保留排位靠前的特征词。