[发明专利]用于数据挖掘的具有冗余剔除能力的混合特征选择方法

摘要

本发明涉及一种用于数据挖掘的具有冗余剔除能力的混合特征选择方法，属于数据挖掘技术领域。该法对输入属性集合F进行前进搜索，用基于帕森窗的统一型互信息估计方法计算信息增益比(见式1)来选择特征属性，对已选属性集合S进行后退搜索，用基于帕森窗的统一型互信息估计法计算信息减少值(见式2)来动态剔除冗余属性。本发明方法，统称为PGFB法，其优点是：能够直接处理目标属性为连续属性的回归问题；能够直接处理输入属性为离散、连续属性混合的情况；能够动态剔除冗余属性，得到全局最优解。采用本方法从数据表大量候选属性中选出少量特征属性作为数据挖掘的输入属性，不但可以提高数据挖掘的速度，还可提高数据挖掘的精度。

主权项

1、一种用于数据挖掘的具有冗余剔除能力的混合特征选择方法，其特征在于该方法包括以下步骤：(1)建立一个由待处理数据的N个输入属性组成的集合F，所述的待处理数据含有N个输入属性和一个目标属性C，所述的输入属性为连续属性或离散属性，建立一个空集合S0，用以存放从集合F中选择的属性；(2)对上述集合F中的每个输入属性fi，用基于帕森窗的统一型互信息估计法计算第一互信息值I(C；S0∪{fi})，其中S0∪{fi}为向上述空集合S0中增加fi后的集合，并从计算的互信息值中得到为待处理数据分类贡献最大的输入属性fj，即，使I(C；S0∪{fi})值为最大的属性fj；(3)计算上述输入属性fj的信息增益比α′，${\alpha }^{\prime }=\frac{I(C;S_0\cup \{f_i\left\}\right)-I(C;S_0)}{H\left(C\right)},$ 当满足α′＞α+，或满足I(C；S0)/H(C)＜ε时，则在上述空集合S0中添加属性fj，并将S0记为Sa1，并在集合F中删除fj，其中α+和ε为设定的信息增益值，H(C)为目标属性C的熵；(4)对上述集合Sa1中的每个属性si，用基于帕森窗的统一型互信息估计方法计算第二互信息值I(C；Sa1\{si})，其中Sa1\{si}表示在集合Sa1中删除属性si后的集合，并计算信息减少值α″，${\alpha }^{\prime \prime }=\frac{I(C;S_{a1})-I(C;S_{a1}\backslash \{s_i\left\}\right)}{H\left(C\right)},$ 将α″与α_的大小进行判断，若满足α″＜α_，则从集合Sa1中删除si，在集合F中添加si，若不满足，则不操作，新建一个与判断后的Sa1相同的集合，记为Sb1，其中α_为设定的信息减少值；(5)重复上述步骤(2)(3)(4)，每次重复时，步骤(2)中，使Sbi替换S0，步骤(3)中，使Sa(i+1)替换Sai，步骤(4)的集合记为Sb(i+1)，直到步骤(3)中不再有属性fj添加到Sai中，停止循环，记最后得到的Sbi为Slast；(6)对于每一次重复得到的集合Sbi，用基于帕森窗的统一型互信息估计方法计算第三互信息值I(C；Si)和信噪比$\mathrm{SNRatio}(C,S_i)=\frac{I(C;S_i)}{H\left(S_i\right)-I(C;S_i)},$ 其中H(Si)为集合Si的熵，若步骤(1)集合F中的N个属性为离散属性，则选择使I(C；Si)≥I(C；Slast)且信噪比最大的集合Si作为选择的特征属性集合；若第(1)步中F中的N个属性不全是离散属性，则选择使I(C；Si)≥I(C；Slast)且H(Si)最小的集合Si作为选择的特征属性集合。