[发明专利]平衡化数据集生成方法和装置以及分类方法和装置

说明书

本发明公开了一种平衡化数据集生成方法和装置以及分类方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对于正类集合中的每个正类样例，基于所述每个正类样例与负类集合中负类样例之间的关联关系生成新的正类样例，将所述新的正类样例加入所述正类集合以得到目标正类集合；从所述负类集合中提取多个负类样例，获得子负类集合，其中，所述子负类集合中负类样例的数量与所述目标正类集合中正类样例的数量相等；将所述目标正类集合与所述子负类集合合并，生成平衡化数据集。该实施方式能够在增加正类样例数量的同时，扩大正类样例的学习域，增大正类样例的学习范围，从而提高分类准确度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种平衡化数据集生成方法和装置以及一种分类方法和装置。

背景技术

在分类中，数据集不平衡是指不同类别下的样例数目相差巨大。在实际生活中，数据集不平衡是很常见的，例如在计算机辅助医疗诊断中，绝大部分人事正常的，只有少数人是病人；在欺诈交易识别中，绝大部分交易是正常的，只有极少部分的交易是异常的。

但是，目前大多数分类器是在类分布平衡的假设下设计出来的，则对于不平衡的数据集，传统的分类器对这样的数据集一般不再适用。

针对非平衡数据集的分类问题，常见的解决方案主要利用采样技术使非平衡的数据集平衡化，例如包括对正类样例(正类样例为少数样例)的随机上采样、对负类样例(负类样例为多数样例)的随机下采样或例如采用smote算法(synthetic minority over-sampling technique，合成少数过采样技术)合成新的正类样例。其中，随机上采样通过增加正类样例的数量来提高分类精度；下采样通过减少负类样例的数量来达到同样的目的；smote算法合成新的正类样例的策略是对每个正类样例s1，从它的最近邻中随机选出一个正类样例s2，然后在s1与s2之间的连线上随机选一点作为新合成的正类样例。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

随机上采样并没有给正类样例增加新的信息，导致过学习；随机下采样会使负类样例丢失一些重要的信息，因此，导致分类精度较低；smote算法虽然可以弥补随机上采样方法的不足，但是并没有改变正类样例的学习域，存在一定的盲目性和局限性。基于上述采样方法得到的平衡化数据集进行分类，分类准确性较低，分类效果差。

发明内容

有鉴于此，本发明实施例提供一种平衡化数据集生成方法，能够在增加正类样例的数量的同时，扩大正类样例的学习域，增大正类样例的学习范围，从而提高分类准确度。

为实现上述目的，根据本发明实施例的一个方面，提供了一种平衡化数据集生成方法，包括：对于正类集合中的每个正类样例，基于所述每个正类样例与负类集合中负类样例之间的关联关系生成新的正类样例，将所述新的正类样例加入所述正类集合以得到目标正类集合；从所述负类集合中提取多个负类样例，获得子负类集合，其中，所述子负类集合中负类样例的数量与所述目标正类集合中正类样例的数量相等；将所述目标正类集合与所述子负类集合合并，生成平衡化数据集。

可选地，基于所述每个正类样例与负类集合中负类样例之间的关联关系生成新的正类样例包括：确定正类集合的中心点，在所述负类集合中确定所述中心点的异类最近邻，其中，所述异类最近邻为距离所述中心点最近的负类样例；对于所述正类集合中的每个正类样例，基于所述异类最近邻，生成新的正类样例。

可选地，将所述新的正类样例加入所述正类集合以得到目标正类集合包括：将所述新的正类样例加入所述正类集合，得到中间正类集合；对于中间正类集合中的每个正类样例，在所述负类集合中确定所述每个正类样例的异类最近邻；基于每个正类样例的异类最近邻，生成新的正类样例；将所述新的正类样例加入所述中间正类集合，得到目标正类集合。

可选地，所述生成新的正类样例包括：确定所述异类最近邻与正类样例之间的连线；在所述连线上进行采样以获得新的正类样例。