[发明专利]一种改进的互信息特征选择方法

摘要

本发明请求保护一种改进的互信息特征选择方法。包括步骤：首先，对文本数据分为测试集和训练集并分别做分词、去停用词处理，在特征选择时分别引入类内特征频度和特征词覆盖率，并结合特征词的词性系数，与改进的互信息模型相结合，构造出新的特征权重评估函数；其次，利用改进的互信息模型进行特征选择并设置最大最小互信息值，筛选出满足条件的特征词集合并使用空间向量模型对特征词集合向量化；最后，使用K近邻(KNN)分类算法对特征词集合进行分类，使用查准率，查全率和F1值评估分类结果。本发明减少了数据处理的时间消耗，提升了分类的准确率，通过对引入的参数调节来适应多样的分类模型，实现文本分类系统的最优设计。

主权项

1.一种改进的互信息特征选择方法，其特征在于，包括以下步骤：步骤1：将文本数据分为测试集和训练集，并采用包括分词、去停用词在内的预处理步骤，即从句子中划分出每个有独立意义的词，并将其中对分类结果没有贡献的特征词根据提前建立的停用词表进行剔除；步骤2：构建互信息特征评估函数：对传统的互信息评估函数进行改进，在传统的互信息评估函数基础上分别引入类内特征频度、特征词覆盖率及词性系数进行特征提取；步骤3：筛选特征集合，对已经通过改进的互信息模型提取的特征词，筛选出互信息值在指定区间内的特征词，筛选过程中通过设定特征词的最大最小互信息值来确定，并组成特征词集合；步骤4：KNN分类，对已经选出的特征词集合利用K近邻分类模型对其进行分类，用查准率，查全率和F1值评估分类结果。