[发明专利]一种基于特征选择的分类改进算法

说明书

本发明涉及一种分类改进算法，尤其涉及一种基于特征选择的分类改进算法。本发明提出了一种基于特征选择的分类改进算法。一种基于特征选择的分类改进算法，即SRBA算法，由SVM‑REF特征选择方法和Bagging‑AdaBoost分类模型的算法集成为所述的SRBA模型，所述SRBA模块包括有两个功能模块：首先进行数据预处理，使用SVM‑RFE对数据特征进行权重重要性排序，筛选出指定数量的特征作为模型输入；然后搭建Bagging‑AdaBoost分类模型，将集成学习技术应用于事物类型划分中。本发明通过SRBA分类模型的使用不仅减少了分类时间，提高了计算效率，降低了成本，还具有通用性，保证了模型的泛化能力，具有较强的灵活性、自适应性和稳定性。

技术领域

本发明涉及一种分类改进算法，尤其涉及一种基于特征选择的分类改进算法。

背景技术

随着社会的高速发展，信息流通，各行各业都进入了大数据时代。在实际应用场景中采集到的数据量大、特征值多，这种多特征值数据往往包含大量不相关和冗余的特征信息，过多的特征维度增加了数据分类的难度，降低了分类准确率，此时在分类模型中对多特征值数据进行特征降维及选择具有重大意义；在对事物依据某些特征进行分类时，基于单分类器的方法性能并不是很令人满意，而克服这一限制的可能的方法是在分类问题中采用集成方法。因此为了探究各行各业数据表现，根据事物重要特征进行分类、总结事物规律，本发明将特征选择方法--支持向量机递归特征消除法与分类集成算法进行结合，集合成SRBA分类模型，形成一种更为有效、准确、稳定的分类模型和方法。

已有的与本发明原理最相近似的实现方案是：PCA降维方法，在进行特征选择时，只能针对于具有线性相关关系的特征，但现实场景中数据所包含的特征间关系复杂，大多具有非线性相关性，因此并不适用于大部分场景；在进行分类时，Bagging算法泛化能力较强，但该算法容易产生过拟合结果，需集成其他分类算法，降低过拟合可能性。

因此亟需研发一种能够保证模型的泛化能力，减少分类时间，增强其灵活性、自适应性和稳定性的基于特征选择的分类改进算法。

发明内容

为了克服分类时间长，使用场景少，灵活性较差、自适应性较差和稳定性较差的缺点，要解决的技术问题：提供一种能够保证模型的泛化能力，减少分类时间，增强其灵活性、自适应性和稳定性的基于特征选择的分类改进算法。

技术方案如下：一种基于特征选择的分类改进算法，由SVM-REF特征选择方法和Bagging-AdaBoost分类模型的算法集成为所述的SRBA模型，所述SRBA模块包括有两个功能模块：首先进行数据预处理，使用SVM-RFE对数据特征进行权重重要性排序，筛选出指定数量的特征作为模型输入；然后搭建Bagging-AdaBoost分类模型，将集成学习技术应用于事物类型划分中。

优选地，所述的一种基于特征选择的分类改进算法，具体分为以下步骤：

(1)数据预处理；

(2)SVM-REF特征选择；

(3)集成分类识别。

优选地，步骤(1)所述的数据预处理具体为以下步骤：

1.1填补缺失值；

1.2归一化。

优选地，步骤(2)所述的特征选择具体为以下步骤：

2.1通过SVM模型训练特征，得到特征对应的权重，计算特征权重排序列表，每次迭代剔除1个特征权重排名最低的特征；

2.2用剩余的特征再次训练模型获取新的特征权重，迭代执行这一过程，直到所有特征被剔除，得到所有特征属性的递减顺序排序表，最后根据业务需求选出需要的特征数目，为之后的训练数据集、测试数据集确定好特征参考。

优选地，步骤(3)所述的集成分类识别具体为以下步骤：