[发明专利]一种基于分布漂移数据集的特征选择方法

摘要

一种基于分布漂移数据集的特征选择算法，具体包括过滤器和包装器两种版本，该算法通过引入特征泛化有效性分数(FGES)解决特征漂移问题，在给定数据集D、特征候选集F、需要选的特征数量N的设定下，可以产出对分类问题最有效的前N个特征及其排序。本发明使机器学习分类算法面对分布漂移数据集时，仍然可以使用过滤器和包装器类方法进行特征选择，进而提高机器学习分类算法运行效率、可扩展性和模型效果。

主权项

1.一种基于分布漂移数据集的特征选择方法，其特征在于，是一种过滤器特征选择方法，包括以下步骤：步骤1，给定数据集D，特征候选集合F，需要选择的特征数量N；步骤2，计算特征候选集合F中每个特征的特征相关度分数FRS；其中，所述特征相关度分数FRS是指特征与标签之间的相关程度或重要程度；步骤3，计算特征候选集合F中每个特征的特征漂移程度分数FSS；其中，所述特征漂移程度分数FSS是指特征分布随时间变化的程度或者特征标签组合随着时间变化的程度；步骤4，计算特征候选集合F中每个特征的特征泛化能力有效性分数FGES；其中，所述特征泛化能力有效性分数FGES为一种特征评价指标，FGES＝g(FRS，FSS)，其中g为FRS的非减函数，且为FSS的非增函数；其计算综合了所述特征相关度分数FRS和所述特征漂移程度分数FSS；步骤5，将特征候选集合F的所有特征根据特征泛化能力有效性分数从大到小排序，得到特征排序列表；步骤6，根据步骤5的特征排序列表，选出特征排序列表的前N个特征，作为最终的特征排序列表。