[发明专利]基于特征分布信息的文本分类特征筛选方法

说明书

技术领域

本发明涉及一种文本分类特征筛选方法，特别是涉及一种基于特征分布信息的文本分类特征筛选方法。 

背景技术

随着信息和网络技术的发展，在互联网上，每天都有大量的电子文档如新闻、邮件、微博等产生。文本自动分类作为一种高效地对大量文档进行分类管理的方法，已经在很多领域被广泛的使用。 

随着信息量的爆炸性增长，自动文本分类面临的一个主要问题是如何处理大量文本数据产生的高维文本向量特征空间。过高的文本向量特征空间将会对文本分类方法产生两个不利影响：（1）很多比较成熟的方法在高维空间内无法进行优化，进而无法应用于文本分类中。（2）由于分类器是通过训练集训练而得，维度过高的文本向量空间将不可避免地导致过拟合现象发生^[1]。文本向量空间中，大部分维度与文本分类并不相关，甚至掺杂较多影响文本分类精度的噪声数据^[2]。文本特征筛选，依据某种特征筛选算法，从原始的特征空间中选择出一部分更具代表性的文本特征构成一个新的维度较低的特征空间，达到降维的目的。该方法是解决文本分类中文本向量特征空间维度过高问题的行之有效的方法。文本特征筛选的目的是要提高文本分类工作效率和算法的执行效率。很多实验证明，在大多数情况下，主动对特征空间进行约减会在较少的分类精度损失下获得很大的性能提升^[3]。 

现有的文本分类特征筛选算法主要有文档频率（DF）、信息增益（IG）、信息增益率（GR）、卡方检验（CHI）、互信息（MI）和Gini索引等^[3，4]。下面对其中的几项在文本分类中效果较好的技术进行简要介绍： 

文档频率（DF）：文档频率是指对于给定特征t，在文档集合中包含t的文档数目。其基本假设是稀有特征对于类别预测是没有帮助的，或者不会影响整体性能。文档频率的优点：由于其实现简单、计算量小，所以特征选择速度很快，且实际效果也不错；缺点：稀有的特征可能在某一类文本中不是稀有的，也可能包含着重要的类别信息，简单的剔除掉，可能会影响分类的效果，因此不宜用DF大量的剔除特征。 

信息增益（IG）：信息增益是一种基于熵的评估方法，给定一个特征t，考虑和不 考虑它的时候信息量各是多少，两者的差值就是这个特征给系统带来的信息量，即增益^[5]。信息增益考虑了一个特征的出现与否，在不均衡数据集中，对于稀有类别，实验表明，考虑特征不出现的情况对判断文本类别的贡献往往远小于考虑特征不现情况所带来的干扰。 

信息增益率（GR）：信息增益在很多结果中被证明是有偏差的。由于取值较多且不同的属性对于训练集学习的过于充分，导致信息增益方法更倾向于选择这种属性，信息增益率解决了信息增益的这个缺点^[6]。 

卡方检验（CHI）：卡方检验是数理统计中一种常用的检验两个变量独立性的方法，其最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否^[7，8]。 

文本分类的实验表明中，作为特征选择时，卡方检验的效果是最佳的一种，但是它只统计了文本中是否出现特征t，却没有考虑特征t在该文本中出现的次数，因此使得它对低频词有一定夸大作用，这也就是卡方检验著名的“低频词缺陷”。 

本发明在特征分布系统^[9]的基础上，对类间离散度计算方法进行改进，将该系统运用到特征筛选过程中。 

参考文献： 

[1]Jieming Yang，Yuanning Liu，Xiaodong Zhu et al，A new feature selection based on comprehensive measurement both in inter-category and intra-category for text categorization，Information Processing&Management，Volume48，Issue4，2012，pp.741-754 

[2]Wenqian Shang，Houkuan Huang and Haibin Zhu et al，A novel feature selection algorithm for text classification，Expert Systems with Applications，Volume33，Issuel，2007，pp.1-5