[发明专利]一种基于正交回归和特征加权的有监督特征选择方法

说明书

本申请提供一种基于正交回归和特征加权的有监督特征选择方法，该方法通过加入特征加权参数来表达每个特征的重要性，提供了特征选择的有效指标信息，以挑选出最优特征子集。该方法包括：根据获得的特征矩阵和与特征矩阵对应的标签数据构建第一算法模型；对第一算法模型求偏差向量的偏导，获得偏差向量；将偏差向量代入第一算法模型计算，获得第二算法模型；交替固定正交回归矩阵以及固定权重对角矩阵，对第二算法模型进行迭代运算，确定迭代运算后的第二算法模型；根据迭代运算后的第二算法模型的权重对角矩阵确定冗余特征；根据冗余特征从特征矩阵中选择出有效的特征数据。

技术领域

本申请涉及机器学习和数据挖掘的技术领域，具体而言，涉及一种基于正交回归和特征加权的有监督特征选择方法。

背景技术

特征选择(Feature Selection)，也称特征子集选择(Feature SubsetSelection，FSS)，或属性选择(Attribute Selection)；特征选择是指从已有的M个特征中选择N个特征使得系统的特定指标最优化，是从原始特征中选择出一些最有效特征以降低数据集维度的过程；特征选择是一种从原始特征数据中剔除不相关或冗余特征，获取最优子集的算法，为特征数据的降维处理提供一种解决方案。特征选择方法也可以看作挑选不相关特征和冗余特征的过程，其实质是从特征数据中将不相关特征及冗余特征去除的过程，从而防止过拟合，提高任务的识别结果和降低模型的时间代价。

最小二乘法，又称最小平方法，是指通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

现有技术中，带有正交约束的最小二乘回归模型是一种正交回归模型，带有正交约束条件的回归模型本身是一个非均衡普罗克拉斯提斯(Procrustes)的问题，在具体的实践中发现，上述模型仅考虑了特征选择得到的特征子集影响后续分类器模型的分类性能，不能表征每种特征对于分类器模型的分类性能的单独作用，使用上述带有正交约束的最小二乘回归模型无法表达每个特征的重要性。

发明内容

为了改善上述问题，本申请实施例提供了一种基于正交回归和特征加权的有监督特征选择方法，在传统正交最小二乘回归模型的基础上，引入了新的特征权重参数，并重新构建基于正交回归和特征加权的特征选择算法模型，为特征选择提供有效的指标信息，更清晰的表达每个特征的重要性，去除不相关特征数据和冗余特征数据，从而挑选出最优特征子集，减小特征维度，用于降低机器学习任务的难度，减少时间开销和内存开销，以较少的特征数据获得较高的分类性能。

本申请实施例提供了一种基于正交回归和特征加权的有监督特征选择方法，包括：根据获得的特征矩阵和与所述特征矩阵对应的标签数据构建第一算法模型，所述第一算法模型包括偏差向量；对所述第一算法模型求所述偏差向量的偏导，获得所述偏差向量；将所述偏差向量代入所述第一算法模型计算，获得第二算法模型，所述第二算法模型包括：正交回归矩阵和权重对角矩阵；交替固定所述正交回归矩阵以及固定所述权重对角矩阵，对所述第二算法模型进行迭代运算，确定迭代运算后的第二算法模型；根据所述迭代运算后的第二算法模型的权重对角矩阵确定冗余特征；根据所述冗余特征从所述特征矩阵中选择出特征数据。在上述的实现过程中，通过构造有监督学习的目标函数，在正交最小二乘回归模型的基础上重构了特征选择模型，并引入特征加权参数表示特征权重对特征矩阵进行迭代运算，从而有效地表达了每个特征的重要性，提供了特征选择的有效指标信息，以挑选出最优特征子集，减小特征维度，使用较少的特征数据获得较高的分类性能。