[发明专利]一种改进的互信息特征选择方法

权利要求书

1.一种改进的互信息特征选择方法，其特征在于，包括以下步骤：

步骤1：将文本数据分为测试集和训练集，并采用包括分词、去停用词在内的预处理步骤，即从句子中划分出每个有独立意义的词，并将其中对分类结果没有贡献的特征词根据提前建立的停用词表进行剔除；

步骤2：构建互信息特征评估函数：对传统的互信息评估函数进行改进，在传统的互信息评估函数基础上分别引入类内特征频度、特征词覆盖率及词性系数进行特征提取；

步骤3：筛选特征集合，对已经通过改进的互信息模型提取的特征词，筛选出互信息值在指定区间内的特征词，筛选过程中通过设定特征词的最大最小互信息值来确定，并组成特征词集合；

步骤4：KNN分类，对已经选出的特征词集合利用K近邻分类模型对其进行分类，用查准率，查全率和F1值评估分类结果；

所述步骤2的传统的互信息特征评估函数为：

其中，x、y分别指的是文本集合中的特征词与类别，MI(X,Y)指的是特征词的互信息值，P(x,y)表示特征词和类别的相关概率，p(x)表示特征词在其所属类别文档中出现的概率，即该特征词与其所属类别文档中出现的特征词频率之比，p(y)表示类别y的文档数量与文本集合中所有文档的数量之比；

在文本分类中，x,y分别对应特征词t和类别c，互信息计算公式近似为：

其中，p(t|c_i)表示特征词t在类别c_i中的概率，p(t)表示特征词在整个文本集合中的概率，MI(t,c_i)越大，表示特征词t对文本类别c_i具有越高的辨识度；

所述步骤2对传统的互信息模型引入类内特征频度，计算公式为：

其中，m表示类别c_j中的文本总数，FR(t,c_j)表示的是特征词t在类别c_j中的特征频度，n表示文本集合中的总的类别数，tf_jk表示的是特征词t在第j个类别c_j中的第k篇文档中出现的频率，由公式可知FR(t,c_j)值越大，表明特征词t在类别c_j中出现的次数越多，特征词t越能代表类别c_j；

所述步骤2对传统的互信息模型引入特征词覆盖率，计算公式为：

其中，m表示类别c_j中的文本总数，tf_jk表示特征词t在类别c_j中的文本d_jk(1≤k≤m)中出现的次数；从公式可以看出，ρ越大，说明特征词t对类别c_j的覆盖率越大，特征词挣在类别c_j中分布的越均匀；

所述步骤2对传统的互信息模型引入词性系数，公式如下：

由公式可知，特征词不同的词性会影响其词性系数的取值，其中0＜η＜ξ＜1，η,ξ分别表示特征词t在不同词性下的取值，该取值的大小由多次试验确定，改进的互信息特征函数为：

2.根据权利要求1所述的一种改进的互信息特征选择方法，其特征在于，所述步骤3利用空间向量模型对筛选的特征数据集进行向量化，空间向量模型计算公式如下所示：

其中，D＝＜t₁,w₁；t₂,w₂；t₃,w₃.......；t_i,w_i；t_n,w_n＞，t_n表示特征词集合中第n个特征词，w_n表示特征词集合中第n个特征词t_n的权重值，W_i表示在待测文本D中特征词t_i的权重值，特征词t_i在文档中出现的频率用tf_i表示，训练集中所有文档的数目用N表示，包含特征词t_i的文档出现的频率用表示。