[发明专利]基于协方差度量因子的特征选择方法

说明书

本发明公开的基于协方差度量因子的特征选择方法，在原有的三角比较度量算法(TCM)的基础上，引入协方差度量因子的概念，通过计算特征词与类别的协方差值，在文档频率层面进一步衡量特征与类别之间的相关性。验证本发明的性能时使用朴素贝叶斯算法进行分类操作，并使用宏F1和微F1对分类效果进行评估。本发明可以更好地筛选出与类别高度相关的特征词，是一种可靠的特征选择算法，提高了分类的准确率与效率。

技术领域

本发明属于文本分类方法技术领域，具体涉及一种基于协方差度量因子的特征选择方法。

背景技术

随着大数据技术的广泛应用，非结构化文本信息在万维网上大量涌现，并被计算机存储和处理，例如音乐、视频软件上的用户评论；电商平台的用户反馈、采购记录；社交平台的随文、评论等。处理庞大的非结构化文本数据必须利用数据挖掘以及自然语言处理等技术，其中文本分类被广泛应用，通过模型的学习将文本数据划分为不同的类别，方便了数据的进一步处理。文本类型数据常常由数以万计的特征词组成，其中包含大量不相关的以及冗余的特征，它们对分类性能产生消极的影响。特征空间维数过大反而降低了分类器的分类性能，出现Hughes现象。因此在数据预处理阶段进行特征降维操作是必不可少的。

特征选择是常用的降维技术，依据一定的判别准则来衡量特征所包含的分类信息的大小，从特征空间中选择出最优特征子集，减少了特征空间的维度，避免了“过拟合”现象的发生，提高了分类的效率和准确率。特征选择算法通常可以分为三种类型：过滤式、包装式以及嵌入式。

由于过滤式特征选择独立于学习算法，具有高计算效率、低成本的特点，被广泛应用于文本类型数据的处理上。许多基于文档频率的过滤式特征选择方法被提出。JiemingYang等人提出类内和类间的综合度量方法(CMFS)，同时考虑特征词在一个类中以及整个数据集中的分布情况；Alper Kursat U ysal等人提出一种基于概率的过滤式特征选择器(DFS)，可以对特征词在整个数据集上的全局类别分辨能力进行有效的评估；Hiroshi等人提出基于泊松偏离度度量的特征选择算法，利用特征词在每个类中的实际概率分布与标准泊松分布之间的偏差程度来衡量特征词所携带的类别相关信息量。最大最小比率算法(MMR)用来处理具有高度稀疏性且类别高度倾斜的文本数据。三角比较度量算法(TCM)考虑类和类之间特征词的文档频率的相对大小，对只在一个类中频繁出现、其他类中几乎不出现的特征词赋予更高的分数。本发明在三角比较度量算法的基础上引入协方差的概念，提出基于协方差度量因子的特征选择方法，通过计算特征词与对应类别的协方差值，在文档频率层面进一步衡量两者的相关性大小。

发明内容

本发明的目的在于提供一种基于协方差度量因子的特征选择方法，在三角比较度量算法的基础上进一步计算特征词与对应类别的协方差值，最终选择出与类别高度相关的词语，实现降维的目的。

本发明所采用的技术方案是：基于协方差度量因子的特征选择方法，包括以下步骤：

步骤1、选取不同的文本类型数据集进行预处理操作，利用向量空间模型对文本数据进行表示，将数据中出现的文档数多于总数的25％或少于3篇的特征词去掉，之后将数据集划分为训练集和测试集；

步骤2、设置最优特征子集的大小为C，使用特征排序函数计算训练集数据每个特征词的得分，按照分数对特征词进行降序排列，选择排名为前C的特征词作为最优特征子集的元素，根据得到的最优特征子集分别完成对训练集和测试集数据的降维处理；

步骤3、利用步骤2得到的训练集数据D_train对朴素贝叶斯分类器进行训练，并将训练好的模型对测试集数据D_test中的每一个样本x预测其对应的类别完成对降维后的测试集样本的分类操作。

本发明的特点还在于，

步骤1中的预处理操作包括分词操作，并去除文本中的停用词。