[发明专利]基于相关性的特征加权过滤方法及朴素贝叶斯分类方法

摘要

本发明提供了一种基于相关性的特征加权过滤方法，将每个特征变量的权值直接定义为该特征变量和类变量的相关性与该特征变量和其他特征变量的平均冗余性的差。本发明同时提供了依托于上述方法的特征加权的朴素贝叶斯分类方法，是将得到的一组权值代入朴素贝叶斯分类公式对测试实例进行最终分类。本发明不仅同时考虑到了特征变量和类变量之间的相关性以及特征变量和特征变量之间的冗余性，还维持了模型的计算复杂性和简单性，经过大量的实验研究验证了本发明所提特征加权方法及分类方法的有效性和精确性。

主权项

一种基于相关性的特征加权过滤方法，其特征在于包括以下步骤：(1)设A1,A2,...,Am表示一个已知的训练实例集中训练实例的m个特征变量，ai表示特征变量Ai的取值，i∈[1,m]；C表示训练实例的类变量，c表示C的取值，则对每一个特征变量Ai，用以下公式计算其与类变量C之间的相互信息I(Ai；C)：I(Ai;C)=ΣaiΣcP(ai,c)logP(ai,c)P(ai)P(c)]]>其中，P(ai)为属性值ai在训练实例集中发生的概率，P(c)为类c在训练实例集中发生的概率，P(ai，c)为属性值ai和类c在训练实例集中的联合发生的概率；(2)对于m个特征变量中的每一对特征变量Ai和Aj，i≠j，用以下公式计算其相互信息I(Ai；Aj)：I(Ai;Aj)=ΣaiΣajP(ai,aj)logP(ai,aj)P(ai)P(aj)]]>(3)对于m个特征变量中的每一个特征变量Ai，用以下公式标准化Ai与类变量C之间的相互信息：NI(Ai;C)=I(Ai;C)1mΣi=1mI(Ai;C)]]>其中NI(Ai；C)表示标准化后的Ai与C之间的相互信息；(4)对于m个特征变量中的每一对特征变量Ai和Aj，i≠j，用以下公式标准化Ai与Aj之间的相互信息：其中NI(Ai；Aj)表示标准化后的Ai与Aj之间的相互信息；(5)对于m个特征变量中的每一个特征变量Ai，用以下公式计算该特征变量和类变量的相互信息与该特征变量和其他特征变量的平均相互信息的差di：(6)对于m个特征变量中的每一个特征变量Ai，用以下公式将di映射到(0，1)区间，得到特征变量Ai的权值ωi：wi=11+e-di]]>则得到每一个特征变量对应的权值。