[发明专利]基于信息度量的特征选择方法

摘要

本发明属于机器学习、数据挖掘技术领域，为提出一种基于信息度量的特征选择算法，并通过实验结果验证是否存在对一些数据集性能普遍最优的权衡系数。本发明采用的技术方案是，基于信息度量的特征选择方法，步骤如下：利用特征f_i与类标签c的SU(f_i；c)和两个特征f_i、f_t与类标签c的三路交互信息I(f_i；f_t；c)这两个量，构建目标函数为：$\begin{array}{cc}\arg & \underset{f_i\∈X}{\max }\[SU(f_i;c)+\mathrm{\β}\underset{f_t\∈D}{\Σ}I(f_i;f_t;c)\]\end{array}---\left(10\right)$上式中，f_i为未选取的特征，X为未选取的特征集，c为类标签，D为满足I(f_i；f_s；c)最大值大于零的f_s特征集，f_s为一个刚选出的特征，f_t为D子集的特征，β是权衡系数。本发明主要应用于机器学习、数据挖掘场合。

主权项

一种基于信息度量的特征选择方法，其特征是，步骤如下：设X、Y、Z为三个离散随机变量，X、Y、Z的三路交互信息I(X；Y；Z)与X、Y、Z的条件互信息I(X；Y/Z)和X、Y的互信息I(X；Y)有如下关系：I(X；Y；Z)＝I(X；Y/Z)‑I(X；Y)  (7)采用匀称不确定度SU(Symmetrical Uncertainty)对互信息归一化，特征f_i与类标签c的SU值如下：$SU(f_i;c)=\frac{2I(f_i;c)}{H\left(f_i\right)+H\left(c\right)}---\left(8\right)$其中，H(f_i)为特征f_i的熵，H(c)为类标签c的熵，I(f_i；c)为特征f_i和类标签c的互信息；利用式(7)，令X＝f_i，Y＝f_t，Z＝c，得到式(9)：I(f_i；f_t；c)＝I(f_i；f_t/c)‑I(f_i；f_t)  (9)其中，I(f_i；f_t；c)为两个特征f_i、f_t与类标签c的三路交互信息，I(f_i；f_t/c)为在类标签c已知条件下两个特征f_i与f_t的互信息，I(f_i；f_t)为特征f_i与f_t的互信息；利用特征f_i与类标签c的SU(f_i；c)和两个特征f_i、f_t与类标签c的三路交互信息I(f_i；f_t；c)这两个量，构建目标函数为：$\begin{array}{cc}\arg & \underset{f_i\∈X}{max}\[SU(f_i;c)+\mathrm{\β}\underset{f_t\∈D}{\Σ}I(f_i;f_t;c)\]\end{array}---\left(10\right)$上式中，f_i为未选取的特征，X为未选取的特征集，c为类标签，D为满足I(f_i；f_s；c)最大值大于零的f_s特征集，f_s为一个刚选出的特征，f_t为D子集的特征，β是权衡系数。