[发明专利]基于对称不确定性和信息交互增益的特征选择方法

说明书

技术领域

本发明属于生物数据分析技术领域，是一种综合考虑特征与类标之间关联性以及特征与特征之间互补性的特征选择方法。

背景技术

生物大数据中存在大量未知的重要信息，如何运用数据挖掘技术从海量的生物信息数据提取有用的知识，对于了解复杂的生命活动过程，促进新药物的研发和疾病诊断方法的发现有着重大意义。

生物信息数据通常具有较高的维度，微阵列技术的进步已经产生了涉及数千特征的基因表达数据，这给传统的数据分析技术带来了挑战，特征选择算法作为一种经典的数据降维技术，能够从高维数据中挖掘出与所研究问题真正相关的特征。生物信息数据的另外一个特点是数据中的特征之间往往存在着复杂的关联关系，如冗余关系、互补关系等，特征之间的互补性尤其不容忽视。生物体本身就是一个复杂的系统，生物体内不同分子间相互关联、相互作用，共同决定生命现象的本质。这就要求特征选择算法在选择特征的时候，既要考虑特征与类标之间的关联性，又要考察特征与特征之间的互补性。对于现有的大部分特征选择算法，尽管它们采用不同的特征评价准则，且表现形式也千差万别，但它们都遵循着共同的选择框架，即候选特征与类标之间的关联性越大越好，与已选特征之间的冗余度越低越好，特征之间的互补性鲜为纳入特征评价标准之中。

本发明中提出的方法IG-RFE将特征与类标之间的关联性以及特征之间的互补性度量相结合，计算特征的区分能力，确定潜在的生物标志物。具体地，分别采用对称不确定性和信息交互增益来衡量特征与类标之间的关联性以及特征与特征之间的互补性，结合二者计算特征权重，同时采用特征后向迭代删除技术移除权重较低的特征，减少噪音对特征权重计算的干扰。

发明内容

本发明的关键在于构造恰当的特征评价函数综合评估特征与类标之间的关联性以及特征与特征之间的互补性。

本发明的技术方案：

基于对称不确定性和信息交互增益的特征选择方法，步骤如下：

(1)衡量特征与类标之间的关联性

衡量特征与类标之间关联性的度量标准有很多，如互信息。由于互信息的取值易于倾向具有多值的变量，对称不确定性(symmetric uncertainty)改善了互信息的缺点，实际上为互信息的归一化表示，特征f与类标C的对称不确定性为：

式中MI(f；C)表示的是特征f和类标C的互信息，H(x)表示变量x的信息熵。对称不确定性的值域为[0,1]，取值越大代表特征与类标的关联性越大。

(2)衡量特征与特征之间的互补性

信息交互增益(interaction gain)是互信息的概念在更高维度上的进一步推广，用于刻画三个变量之间的相互依赖程度，可用于筛选具有互补性的特征。特征f_i、f_j以及类标C之间的信息交互增益定义如下：

IG(f_i；f_j；C)＝MI(f_i,f_j；C)-MI(f_i；C)-MI(f_j；C) (2)