[发明专利]基于条件互信息的特征选择与评价方法

说明书

本发明公开了一种基于条件互信息的特征选择与评价方法，具体按照以下步骤实施：对于一个数据集，计算每个特征与类之间的相关性以及特征与特征之间的相关性。关于特征与类之间的相关性计算，使用最小条件相关，在给定已选特征条件下计算候选特征与类之间条件互信息。关于特征与特征之间的相关性计算，这里分为两种，一种是使用条件互信息计算候选特征和两个已选特征之间的条件冗余，一种是计算候选特征与已选特征的类内冗余。在计算以上两种关系后，使用贪心算法，例如前向迭代算法，后向迭代算法等得到特征子集。

技术领域

本发明属于数据挖掘方法技术领域，涉及一种基于条件互信息的特征选择与评价方法。

背景技术

随着互联网的发展和智能设备的普及，数据的容量呈指数增长。企业使用数据挖掘技术从数据中建立用户的需求模型，以此来完善产品的设计。数据容量的增多为数据挖掘提供了条件，但同时数据维数的增高会延长模型的建立时间，降低模型的预测能力。特征选择就是解决这两个问题的关键技术。特征选择是从原特征集中选出对模型建立有用的特征，将这些特征构成新的子集。一般情况，特征选择算法分为三类，包括嵌入式特征选择算法、包装式特征选择算法和过滤式特征选择算法。嵌入式特征选择算法，其特征选择的过程与分类的过程关系密切，在特征选择的过程中完成分类。包装式特征选择算法，通过调用分类器根据分类结果对特征进行评价。而过滤式特征选择算法，其特征选择的过程与分类器完全独立。所以过滤式特征选择在计算上是高效的。

基于条件互信息的特征选择算法属于过滤式特征选择算法。不同于其他的度量，例如基于距离，基于卡方检验等。互信息从信息学的角度将特征与特征之间的关系以及特征与类之间的关系解释为信息量，传统的基于互信息的特征选择算法，使用互信息描述属性之间的关系，而条件互信息在信息表示上优于互信息，所以本文提出了基于条件互信息的特征选择与评价方法。

发明内容

本发明的主要目的是提供一种基于条件互信息的特征选择与评价方法，提出两种新的特征评价准则，并应用于不同的分类算法上，解决现有的基于互信息的特征选择方法无法精确描述特征与类关系导致分类准确率低的问题。

本发明所采用的技术方案是，基于条件互信息的特征选择与评价方法，具体操作步骤如下：

步骤1.对数据集进行预处理，得到预处理数据集；

步骤2.对预处理数据集进行离散化处理，预处理数据集中的所有特征值划分在不同的特征等级中；

步骤3.计算步骤2离散化处理后的数据集中所有特征X与类变量Y之间的重要程度；

步骤4.根据步骤3计算出的特征与类之间的重要程度I(X；Y)后，选择重要程度最大的特征作为重要特征，将这个重要特征从原特征集合中删除，添加到候选特征集合中，作为第一个被选入候选特征集的候选特征，再计算其他候选特征。

本发明的特点还在于，

步骤1预处理的步骤为：

数据集中的每一列为一个特征，每个特征有n行，将每个特征的取值范围压缩到0和1之间，得到预处理后的特征X；

步骤2离散化过程如下：

步骤2.1，对特征X中的所有元素进行升序排序得到X’；

步骤2.2，分别取X’中第n/5，第2*n/5，第3*n/5,第4*n/5,第5*n/5位置的元素；

步骤2.3，定义k为特征等级，如果0<＝X[i]<X’[n/5],那么k＝0；如果X’[n/5]<＝X[i]<X’[2*n/5],那么k＝1；......如果X’[4*n/5]<＝X[i]<＝X’[5*n/5]，则k＝4；即特征X中所有元素都被划分为在不同的特征等级中，