[发明专利]一种基于混合采样和机器学习的不平衡数据分类方法在审
申请号: | 201910171280.5 | 申请日: | 2019-03-07 |
公开(公告)号: | CN109871901A | 公开(公告)日: | 2019-06-11 |
发明(设计)人: | 刘丽珏;谭世洋;李仕浩 | 申请(专利权)人: | 中南大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 长沙正奇专利事务所有限责任公司 43113 | 代理人: | 马强;李美丽 |
地址: | 410083 湖南*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分类器 机器学习 数据分类 训练集 样本集 采样 拟合 合成 算法生成 训练效果 重复执行 关注度 欠采样 数据集 减小 样本 复制 分类 | ||
1.一种基于混合采样和机器学习的不平衡数据分类方法,包括:
步骤一,在原始学习样本集中的多数类样本集中抽取若干多数类样本,在原始学习样本集中的少数类样本集中抽取若干少数类样本,利用抽取的多数类样本和少数类样本合成训练集;
其特征在于,还包括以下步骤:
步骤二,针对训练集中的少数类样本集P,复制P生成样本集P',利用P和P'合成合集PP',在PP'的基础上采用smote算法生成人工样本集S,同时P、P'和S共同构成新的少数类样本集PP'S;
步骤三,针对训练集中的多数类样本集N,不放回地随机欠采样得到t个数据子集Ni,其中,每个子集Ni的数目为原少数类样本集P数目的m倍,且每个子集Ni中样本的数目小于新的少数类样本集PP'S中样本的数目,m为大于1的整数,i=1,2,.....,t;
步骤四,重复执行步骤二t次,得到t个不同的少数类集样本集PP'Si,将每个多数类子集Ni与对应的少数类样本集PP'Si合成新的训练集,得到t个不同的子集;
步骤五,对于步骤四中得到的t个不同的子集,利用机器学习方法,分别对应训练生成t个分类器Hi;
步骤六,集成t个分类器Hi,得到最终的分类器H,利用分类器H完成对不平衡数据集的分类。
2.如权利要求1所述的基于混合采样和机器学习的不平衡数据分类方法,其特征在于,所述步骤二中,在PP'的基础上生成S的过程为:
对于PP'中每个样本x,计算x与PP'中除x外其他样本的欧氏距离,获取x的k个最近邻,从k个最近邻中随机选取一个样本o,合成一个新样本x'=x+Rand(0,1)*(x-o);Rand(0,1)表示在0到1的范围内随机取一值。
3.如权利要求1所述的基于混合采样和机器学习的不平衡数据分类方法,其特征在于,所述步骤五中,训练生成t个xgboosti分类器Hi。
4.如权利要求3所述的基于混合采样和机器学习的不平衡数据分类方法,其特征在于,所述步骤六中,利用公式集成t个xgboosti分类器Hi,其中Round表示四舍五入取整运算。
5.如权利要求1至4任一项所述的基于混合采样和机器学习的不平衡数据分类方法,其特征在于,所述步骤一中,还包括:将训练集在原始学习样本集中的补集定义为测试集;其中,训练集中少数类样本数目与多数类样本数目之比为p,测试集中少数类样本数目与多数类样本数目之比为q,p=q;
在步骤六之后还包括步骤七,用测试集对分类器H进行测试验证。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中南大学,未经中南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910171280.5/1.html,转载请声明来源钻瓜专利网。