[发明专利]面向高维和不平衡数据分类的集成

摘要

本发明提出面向高维和不平衡数据分类的集成，其特征在于，采用降维和取样的先后顺序，将预处理策略减少为两类；基于实验结论的可重现性原则，选取数据挖掘和机器学习的一些标准数据集作为实验数据；在预处理方法的选择上，增加了封装式(Wrapper)特征选择方法和过取样方法；从属性个数和不平衡程度两方面研究预处理方法对高维不平衡数据分类性能的影响，采用更完备的预处理实验策略，获得了不同的结论对高维不平衡数据分类前，先减少特征再平衡数据产生的平均AUC性能更优，自动化程度强，采用不同的预处理组合策略来缓和高维和不平衡对分类的影响。

主权项

面向高维和不平衡数据分类的集成，其特征在于，采用降维和取样的先后顺序，将预处理策略减少为两类；基于实验结论的可重现性原则，选取数据挖掘和机器学习的一些标准数据集作为实验数据；在预处理方法的选择上，增加了封装式(Wrapper)特征选择方法和过取样方法；从属性个数和不平衡程度两方面研究预处理方法对高维不平衡数据分类性能的影响；降维方法分为两类：特征选择和特征变换，特征选择方法依据是否独立于后续的学习算法分为过滤式(Filter)和封装式(Wrapper)两种，过滤式与后续学习算法无关，一般直接利用所有训练数据的统计性能评估特征，速度快，但评估与后续学习算法的性能偏差较大；封装式利用后续学习算法的训练准确率评估特征子集，偏差小，计算量大，不适合于大数据量，特征变换不同于特征选择之处在于其输出结果不是原有的属性，而是基于某种变换原则所产生的新属性，由于变换后的属性改变了原有属性的物理特性，同时一些特征变换方法通常针对连续属性数据，再此不考虑特征变换方法，取样方法包括两种：欠取样和过取样，预处理采用降维方法和取样方法；降维方法的评估直接依赖于数据集本身，通常认为相关性较大的特征或特征子集可获得较高的分类准确率，常见的Filter特征选择评估方法有类间距离、信息增益、关联度和不一致度等，Kohavi曾指出尽管仅考虑数据集的评估方法运行效率高，但寻找与类别相关的特征或特征子集和选择可最优化分类准确率的特征或特征子集是两个不同的问题；取样方法是一类常用的预处理技术，利用取样可以平衡数据，缓解数据中的不平衡问题，取样方法根据其取样方向可以分为两类：过取样(Over Sampling)和欠取样(Under Sampling)，过取样增加小类实例，欠取样则减少大类实例，根据取样策略分为随机的和算法的两类，随机取样以随机方式删除或增加实例，而算法取样则根据一定的原则取样，如删除靠近大类边界的实例或者增加任意产生的小类实例等，通常而言，随机取样是较为常用的取样手段，而算法取样对于实例集的改变可能存在一定的导向性为简化问题。