[发明专利]一种基于密度聚类的面向聚类算法的特征选择方法

说明书

本发明公开了一种基于密度聚类的面向聚类算法的特征选择方法。按下述步骤完成：a.设：数据集D包含M个实例和N个特征，则有由N个特征构成的特征集F＝{f₁，f₂，…，f_N}；对数据集D进行归一化处理得数据集D'，之后使用欧几里德距离作为数据集D'中特征间的相似度度量，构建特征间的相似度矩阵；b.使用DBSCAN算法进行相似度矩阵的特征聚类，将特征分为核心特征、边界特征和非典型特征三类；c.特征聚类完成后使用特征选择算法选出n维的特征子集F’，其中n≤N，且且保证特征子集F’中的特征之间的冗余最少。本发明具有准确率高、计算成本低、海量数据和稀疏数据集的处理能力强的特点。

技术领域

本发明涉及数据分析技术领域，特别是一种基于密度聚类的面向聚类算法的特征选择方法。

背景技术

特征学习作为机器学习的研究重点之一，随着机器学习领域的发展也获得了长足的进步。在高维数据中，聚类或分类的效率及准确性通常很难令人满意，并且随着特征数量增大时其性能会急剧下降，为此在训练机器学习模型之前使用特征选择技术来解决此问题，能够起到很好地效果。特征选择作为一种重要的数据分析技术，其用于减少特征冗余并挖掘高维数据中的隐藏信息，其准确性对于数据分析至关重要。

目前很多学者已对特征选择方法进行了研究，大致可分为四类。第一类方法：Filter方法，例如Relief、基于互信息和最大信息系数的度量等，该类方法是为每个特征分配权重，它的主要特点是简单易用，但是不适合用于处理连续变量，并且计算结果对离散化的方式很敏感，通常此方法在准确率方面较低；第二类方法：Wrapper方法，例如递归特征消除法、LasVegasWrapper等，该类方法是将特征子集的选择视为搜索优化问题，然后生成待评估的不同组合，最后再与其它组合进行比较，Wrapper方法的明显缺点是计算成本过高，且有过拟合的风险；第三类方法：Embedded方法，例如引入正则项、随机森林等，该类方法旨在减少在Wrapper方法中对不同子集重新分类所需的计算时间，它是在确定模型的过程中，挑选出那些对模型训练有重要意义的特征；该类方法缺点是对高维数据集的效果较弱；第四类方法：Filter和Wrapper方法的组合，通过特定的学习算法与Filter方法类似的时间复杂度来实现最佳性能，该类方法缺点是对稀疏数据集的效果较差。

发明内容

本发明的目的在于，提供一种基于密度聚类的面向聚类算法的特征选择方法。本发明具有准确率高、计算成本低、海量数据和稀疏数据集的处理能力强的特点。

本发明的技术方案。一种基于密度聚类的面向聚类算法的特征选择方法，按下述步骤完成，

a.设：数据集D包含M个实例和N个特征，则有由N个特征构成的特征集F＝{f₁，f₂，…，f_N}；

对数据集D进行归一化处理得数据集D'，之后使用欧几里德距离作为数据集D'中特征间的相似度度量，构建特征间的相似度矩阵；

b.使用DBSCAN算法进行相似度矩阵的特征聚类，将特征分为核心特征、边界特征和非典型特征三类；

c.特征聚类完成后使用特征选择算法选出n维的特征子集F’，其中n≤N，且且保证特征子集F’中的特征之间的冗余最少。

前述的基于密度聚类的面向聚类算法的特征选择方法所述的步骤a中，所述的归一化处理为，使用最大最小值规范化对特征进行缩放，计算公式如下：

x_scaled＝x_std×(max-min)+min (2)