[发明专利]一种基于混合采样和机器学习的不平衡数据分类方法

说明书

本发明公开了一种基于混合采样和机器学习的不平衡数据分类方法，包括：步骤一，生成训练集；步骤二，针对训练集中的少数类样本集P，复制P生成P'，利用P和P'合成PP'，在PP'的基础上采用smote算法生成S，同时P、P'和S构成PP'S；步骤三，针对训练集中的多数类样本集N，不放回地随机欠采样得到t个N_i；步骤四，重复执行步骤二t次，得到t个不同的PP'S_i，将N_i与对应的PP'S_i合成新的训练集，得到t个子集；步骤五，训练生成t个分类器H_i；步骤六，集成t个H_i，得到最终的分类器H，利用分类器H完成对不平衡数据集的分类。本发明提高少数类样本的关注度同时不会过分丢失多数类的信息；减小了过拟合和过度泛化的可能；训练效果好，不易过拟合，训练速度快。

技术领域

本发明涉及不平衡数据分类技术领域，特别涉及一种基于混合采样和机器学习的不平衡数据分类方法。

背景技术

当数据集中一类样本的数目远远低于另一类样本的数目时，就称为数据不平衡。基于不平衡数据集的决策在现实问题中非常常见。例如，如果一个样本的人被检测出某种特定的疾病，那么只有一小部分人会真的患上这种疾病。又例如，在金融信用卡欺诈检测中，整个交易样本中，只有少数交易实际上是欺诈。

目前，对于常规分类算法，一般是在认为两类数据的数量是平衡的基础上以提高总体识别的精确率为目标的，识别少数类的成功率一般较低，结果往往是有利于多数类的，也就是说，大部分少数类例子将被归类为多数类以达到高的总体准确率。

但是，在实际应用中，往往少数类的预测精度至关重要，因为少数类通常是感兴趣的类别。因此，对少数类的错误分类比对多数类的错误分类有更高的成本。为了更清楚地说明这一点，例如，将癌症患者误诊为非癌患者的成本与将非癌患者误诊为癌患者的成本进行比较，在前一种情况下，误诊可能导致一个人死亡，但在后一种情况下，会有更多的检查和筛查。因此，不平衡数据学习在基于不平衡数据集的分类中具有极其重要的作用。

不平衡数据分类算法一个重要的方式就是改变样本的分布，使数据集中两类数据达到某种程度的平衡分布。改变样本分布的方法可以分为两大类，一类是对多数类进行欠采样，另一类是对少数类进行过采样。在欠采样方法中，多数类中的一些数据被删除，因此，类的分布将更加平衡。欠采样方法的主要缺点是，通过删除某些数据，可能会丢失数据中潜在的重要信息。另一方面，过采样则是重新抽样或生成少数类的方式。最基本的过采样方法是随机过采样，其中数据中的少数实例是随机复制的，随机过采样的主要缺点是拟合过度。另一种过采样的主要方法是生成合成数据。smote(合成少数抽样技术)是合成数据生成中最著名的方法之一，在这种方法中，在将少数类样本与其k个最近的少数类邻域连接的线上生成合成数据点。smote的主要缺点是它可能导致过度泛化，因为它盲目地生成合成数据点，而偏离少数类的真实分布。因此，单一地采用欠采样或过采样技术都不能很好地实现对信息的完全获取或者恰当的拟合。

集成学习是机器学习的一个分支，它将各种基本分类器集成到基于特定学习算法的新学习算法中。因此，集成学习方法优于单个学习算法。Boosting是一种集成学习分类算法，通过训练将弱分类器增强为强分类器，实现准确的分类。所谓弱分类器就是每次迭代产生的子模型，强分类器是最终的预测模型，每次迭代生成的分类器在所有迭代完成后都将以一定的权重添加到最终模型中。XGBoost模型就是基于梯度增强决策树的一个集成模型，它具有梯度增强、决策树、正则化及并行处理的共同特点，它的训练效果好，不易过拟合，且训练速度快。

因此，本发明在基于混合采样和XGBoost的优点上，设计出一种新的基于混合采样和机器学习的不平衡数据分类方法。

发明内容

本发明的目的在于，针对上述现有技术的不足，提供一种基于混合采样和机器学习的不平衡数据分类方法。

为解决上述技术问题，本发明所采用的技术方案是：