[发明专利]一种考虑特征标签依赖度的鲁棒多标签特征选择方法

说明书

本发明公开了一种考虑特征标签依赖度的鲁棒多标签特征选择方法，包括以下步骤：首先构建基于稀疏最小二乘回归模型，同时引入流形正则项和非负矩阵因子分解项，构成目标函数；其次对目标函数进行迭代求解操作，得到经过训练的特征权重矩阵；然后对特征权重矩阵进行特征标签冗余度的加权操作，将特征标签冗余度嵌入到特征权重矩阵中；最后，我们将特征权重矩阵的行范数值进行从高向低的排序，选择最优特征子k个最优的特征。本发明能有效地解决标签冗余和数据噪声的问题，同时提高了特征权重矩阵的信息保留度，使得模型能选择出更加有判别力和信息力的特征子集。

技术领域

本发明涉及机器学习和模式识别领域中的特征选择，具体技术为一种考虑特征标签依赖度的鲁棒多标签特征选择方法。

背景技术

多标签数据往往一个样本对应多个标签，有着比单标签数据更加复杂的标签信息。为了解决数据维度过大造成的“维度灾难”问题，多标签特征选择方法应运而生。最小二乘回归模型作为一种常用的嵌入式特征选择方法，近年来也被用于多标签特征选择方法之上，并且常常与稀疏正则项结合，形成稀疏多标签特征选择模型，该模型能使得特征权重矩阵行稀疏，从而指导选择出更加有判别力的特征子集。除此之外，流形学习也常常被应用在最小二乘回归模型上，主要通过流形正则项来构建原始特征和标签空间的低维流形嵌入，保留数据的局部流形结构，从而进一步指导特征选择过程。为了避免噪声点数据对特征选择过程造成干扰。

嵌入式多标签特征选择方法能有效地平衡效率和性能。但现有的方法很难全面的考虑特征和标签之间的相关性，以至于失去了一些关键信息，不仅如此，噪声点以及错误标签也是一个需要得到解决的难题。为了解决现有的一些问题，本发明采用l_2，1范数对最小二乘回归项进行约束，同时，本发明采用非负矩阵分解技术(NMF)对标签矩阵进行压缩，减少错误标签信息对特征选择过程的误导，最后，为了能保留特征标签冗余度信息，本方法对特征权重矩阵进行改进。根据上述准则，本发明构建了一种考虑特征标签依赖度的鲁棒多标签特征选择方法(RGFS)，为了证明该方法的有效性，本发明在十个多标签数据集上进行了充分地实验对比，最后证明了本发明提出RGFS算法的有效性。

发明内容

现有的基于最小二乘回归模型的多标签特征选择方法很少能将数据中的相关信息全面的考虑进来，噪声点和错误标签信息也是需要克服的关键问题。本发明旨在提出一种考虑特征标签依赖度的鲁棒多标签特征选择方法(RGFS)，降低噪声点的影响，保留特征标签冗余度，从而提高特征选择的性能。其主要手段为：

一种考虑特征标签依赖度的鲁棒多标签特征选择方法，基于稀疏最小二乘回归框架，结合流行正则项以及非负矩阵分解项来构建训练模型，最后对构建的目标函数进行迭代求解，得到目标特征权重矩阵，根据权重矩阵来选取最优特征子集K。包含以下步骤：

步骤1：输入特征矩阵标签矩阵其中，n代表了训练样本个数，d代表了训练样本的特征维度，c代表了训练样本的标签维度；

正则项系数α,β,γ∈{0.001,0.01,0.1,1,10,100,1000}，最大迭代次数m＞0，收敛阈值∈＞0，潜在语义矩阵维度r＞0以及加权因子δ＞0；

步骤2：初始化最小二乘对角矩阵和稀疏正则对角矩阵为单位对角矩阵；

步骤3：在[0,1]的范围内随机初始化潜在语义矩阵以及对应的系数矩阵

步骤4：设置目标函数初始值Θ⁰＝1以及当前迭代次数t＝0，这里符号Θ^t代表第t次迭代中的目标函数值；

步骤5：判断是否满足收敛条件其中，如果满足则跳到步骤9，如果不满足则重复步骤5至步骤8；

步骤6：按照以下更新公式更新矩阵W，V，B，D以及

其中，W_t，V_t，B_t分别代表了W，V，B在第t次迭代中的值；