[发明专利]一种基于改进型萤火虫算法的特征选择方法

说明书

本发明提供了一种基于改进型萤火虫算法(Elite‑individual‑differentiation Dynamic Step Firefly Algorithm，EDSFA)的特征选择方法，属于数据挖掘和机器学习任务中数据特征工程应用领域，包括以下步骤：1)将EDSFA进行离散化实现，得到适用于优化搜索候选数据特征子集的EDSBFA，每只萤火虫代表一个候选特征子集；2)利用机器学习模型对EDSBFA产生的特征子集进行评估，评估结果用于指导EDSBFA的优化搜索；3)经过数次算法迭代，由EDSBFA输出最优特征子集。本发明中EDSFA使用基于精英个体划分的变步长策略，考虑了萤火虫个体差异性而进行自适应寻优，算法兼顾了解空间的全局搜索和局部探索，降低算法陷入局部最优的风险，同时使算法朝着种群优化的方向搜索，保证了算法的可收敛性。

技术领域

本发明提供了一种基于改进型萤火虫算法(Elite-individual-differentiationDynamic Step Firefly Algorithm，EDSFA)的特征选择方法，属于数据挖掘和机器学习任务中数据特征工程应用领域。

背景技术

特征选择(Feature Selection)是机器学习、数据挖掘任务中，对于高维或冗余特征数据集采取的一种数据预处理方法。特征选择可以移除原数据集中冗余、不相关的噪音特征，从原数据集中获取一个最优的特征子集以提升机器学习模型的预测精度，同时最优特征子集相较于原特征集具有更少的特征数据，利用其进行机器学习模型的训练和预测可以极大地降低运行时间与数据存储方面的开销。机器学习领域中主要有两类特征选择方式：过滤式(filter mode)和包装式(wrapper mode)。包装式通常会取得比过滤式更好的特征选择结果，包装式比过滤式占用更长运算时间，在非海量数据规模且机器学习模型固定的情况下宜选用这种方式。本发明的特征选择方法为包装式的方法。特征选择算法像基于贪心或完备思想的算法虽可在原始数据集上找到最优特征子集，但这些算法为找到全局最优解需要付出高昂的计算代价。特征选择是一个0-1规划的组合优化问题，被证明是NP难题，而一些元启发式或生物启发式优化算法已在求解此类NP难组合优化问题中表现出了良好的性能，其在解决特征选择问题方面的研究，近年来受到学术界越来越多的关注，遗传算法(Simple Genetic Algorithm，SGA)与离散粒子群优化(Binary Particle SwarmOptimization，BPSO)等传统生物启发式算法已成功用于特征选择优化。

萤火虫算法(Firefly Algorithm，FA)是新型的生物启发式群智能优化算法，FA由剑桥大学Xin-She Yang教授在2008年提出，具有多目标优化能力，在组合优化领域，国内外学者对FA都进行了一定的研究与改进。标准FA设置参数少，算法步骤和公式较简单，然而其最优解发现率低、搜索易陷入局部最优、求解速度慢，其中步长参数取值大小对其性能影响很大，但标准FA采用固定步长设置，这存在着寻优局限性。因此本发明做了关于FA的性能改进，在遵循标准FA算法机理的基础上，提出了基于精英个体划分的变步长FA(Elite -individual-differentiation Dynamic Step Firefly Algorithm，EDSFA)，并将EDSFA进行离散化实现，提出EDSFA的相应离散化算法EDSBFA(Elite-individual-differentiationDynamic Step Binary Firefly Algorithm，EDSBFA)用于机器学习任务中的特征选择优化。

发明内容

针对标准萤火虫算法(Firefly Algorithm，FA)寻优效率低、搜索易陷入局部最优，本发明提出基于精英萤火虫个体划分的变步长策略以改进FA的寻优能力。