[发明专利]一种针对非均衡数据的层次化赋权分类方法及系统

说明书

本发明提出了一种针对非均衡数据的层次化赋权分类方法及系统，包括：类内子概念簇权重学习步骤：对训练样本进行层次聚类，根据聚类结果中各簇包含的样本数量计算各簇的样本权重，以使各子概念簇的数量权重总和保持一致并计算各子概念簇的类内权重；全局权重归一化步骤：根据一定的类间权重比率，将类内权重归一化至全局权重，并以此构建带权重的支持向量机作为分类器，利用该分类器对输入的带识别的非均衡数据进行分类。该方法能够提高样本数量少以及距离分类面近的子概念的学习权重，从而既提高了少数类的召回率又减少了其假阳性率，保证整体的综合性能。

技术领域

本发明属于机器学习、模式识别等技术领域，尤其涉及一种针对非均衡数据的层次化赋权分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

类别非均衡现象在利用机器学习解决现实生活问题中十分常见，例如，在垃圾邮件识别中，垃圾邮件的数量远小于正常邮件的数量；在医疗诊断中，患者的数量远小于健康人的数量。很多传统分类方法假设各类别的训练数据是数量均衡的，令训练的分类器在面对非均衡数据时，分类结果更加偏向多样本类别。虽然从整体精度来看，效果比较好，例如一个数据集中90％为同一类别，如果分类器将全部样本分类为此类别，整体精度为90％，但是从少样本类角度来看，该分类器性能较差。并且，在许多应用问题中，人们更关注少样本类的识别结果，例如垃圾邮件、患某种疾病的人群等。因此，如何利用非均衡数据建立对各类别均衡的分类器，是机器学习领域一个重要的问题。

传统解决非均衡问题的方法可以分为两大方向：数据层面和算法层面。数据层面采用重采样方式，包括上采样和下采样，令不同类别的样本数量保持一致，常见的方法有合成少数类样本的过采样方法SMOTE以及自适应的合成采样方法ADASYN等。数据层面的方法改变了原有数据分布，下采样方法必然将损失一些可能对分类有用的信息量，上采样方法则易产生过拟合现象，造成在测试数据上的性能较差。算法层面主要采用样本赋予学习权重的方式使分类器均衡地对待不同类别，相关专利有CN108764366A等。现有方法根据每个类别包含的样本数量确定该类别样本的学习权重。虽然能够一定程度上解决非均衡问题，但是对一个类别的全部样本采用同样的处理方式，忽略了类别内部的分布，盲目提高少样本类的学习权重，导致均衡后分类器对少样本类的假阳率较高。并且，文献[Weiss G M,Provost F.Learning when training data are costly:The effect of classdistribution on tree induction[J].Journal of Artificial IntelligenceResearch,2003,19:315-354.]中也提到，由于“类内非均衡”(Within-class imbalance)现象，分类器通常对样本分布较少的子概念簇的识别效果较差。

发明内容

为克服上述现有技术的不足，本发明提供了一种针对非均衡数据的层次化赋权分类方法，该方法能有效地解决数据非均衡问题。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

第一方面，公开了一种针对非均衡数据的层次化赋权分类方法，包括：

类内子概念簇权重学习步骤：对训练样本进行层次聚类，根据聚类结果中各簇包含的样本数量计算各簇的样本权重，以使各子概念簇的数量权重总和保持一致并计算各子概念簇的类内权重；

全局权重归一化步骤：根据一定的类间权重比率，将类内权重归一化至全局权重，并以此构建带权重的支持向量机作为分类器，利用该分类器对输入的带识别的非均衡数据进行分类。

进一步的技术方案，对训练样本进行层次聚类，具体为：

获取带标签的训练数据；

针对每个类别，采用层次聚类方法进行类别无监督聚类，获得类别内子概念簇；