[发明专利]基于条件互信息的特征选择与评价方法

权利要求书

1.基于条件互信息的特征选择与评价方法，其特征在于，具体操作步骤如下：

步骤1.对数据集进行预处理，得到预处理数据集；

步骤2.对所述预处理数据集进行离散化处理，预处理数据集中的所有特征值划分在不同的特征等级中；

步骤3.计算步骤2离散化处理后的数据集中所有特征X与类变量Y之间的重要程度；

步骤4.根据步骤3计算出的特征与类之间的重要程度I(X；Y)后，选择重要程度最大的特征作为重要特征，将这个重要特征从原特征集合中删除，添加到候选特征集合中，作为第一个被选入候选特征集的候选特征，再计算其他候选特征。

2.根据权利要求1所述的基于条件互信息的特征选择与评价方法，其特征在于，步骤1预处理的步骤为：

数据集中的每一列为一个特征，每个特征有n行，将每个特征的取值范围压缩到0和1之间，得到预处理后的特征X。

3.根据权利要求2所述的基于条件互信息的特征选择与评价方法，其特征在于，步骤2所述离散化过程如下：

步骤2.1，对特征X中的所有元素进行升序排序得到X’；

步骤2.2，分别取X’中第n/5，第2*n/5，第3*n/5,第4*n/5,第5*n/5位置的元素；

步骤2.3，定义k为特征等级，如果0<＝X[i]<X’[n/5],那么k＝0；如果X’[n/5]<＝X[i]<X’[2*n/5],那么k＝1；......如果X’[4*n/5]<＝X[i]<＝X’[5*n/5]，则k＝4；即特征X中所有元素都被划分为在不同的特征等级中，

其中，k∈{0,1,2,3,4}，i代表特征X的第i个元素，X[i]表示特征X的第i个特征值。

4.根据权利要求3所述的基于条件互信息的特征选择与评价方法，其特征在于，步骤3计算特征X与类变量Y之间的重要程度计算公式如下：

其中，类指的是原数据集中的标签列，KL是散度，X表示特征，x是X的取值，Y表示类变量，y是Y的取值。

p(y)是y的概率分布，p(x)是x概率分布；

p(x,y)表示x和y同时发生时候的概率分布；

且p(x)的计算如下：

其中N(X＝x)表示X取值为x的个数，N(X≠x)表示不包含X取值为x的个数；其中N(Y＝y)表示Y取值为y的个数，N(Y≠y)表示不包含Y取值为y的个数。

5.根据权利要求1所述的基于条件互信息的特征选择与评价方法，其特征在于，步骤4计算其他候选特征的具体步骤如下；

当候选特征集合中的特征个数大于1的时候，使用前向迭代算法选择m-1个重要特征，计算候选特征在特征集合中的重要程度，每一次迭代，选择当前阶段最重要的特征，然后把这个重要的特征从原特征集中删除，放入候选特征集S中，经过m-1次迭代，最终得到大小为m的特征子集，而计算特征重要程度的第一个评价标准MCRMCR为：

其中，X_m为目标特征，X_s为候选特征集S中的某个已选特征，I(X_m；C|X_s)表示给定已选特征X_s条件下，目标特征X_m和类C的相关性，I(X_m；X_j|X_s)表示给定已选特征X_s条件下，目标特征X_m和另一个已选特征X_j之间的冗余，类C指的是数据集中标签列；

采用和公式(9)一样的框架，通过将冗余部分改为类内冗余，可以得到第二个关于特征的重要程度的评价标准MCRMICR：

其中I(X_m；X_s)表示已选特征X_s和目标特征X_m之间的冗余，而I(X_m；X_s|C)表示给定类C条件下目标特征X_m和已选特征X_s之间的冗余。