[发明专利]一种训练流式不平衡数据的方法及设备

说明书

技术领域

本发明涉及数据分析领域，尤其涉及到一种训练流式不平衡数据的方法及设备

背景技术

目前，现有的在线学习系统大部分没有考虑训练流式不平衡数据对于训练系统的影响，比如，现有技术中通常采用在线观察曲线下面积最大化(OnlineAUCMaximization，OAM)、单层曲线下面积(One-PassAUC，OPAUC)、朴素在线正则化最小化算法(NaiveOnlineRegMinimisationAlgorithm，NORMA)、映射感知器(Projectron)的方法学习非线性数据，有相应的局限性。

在OAM方法中，使用线性的分类模型，使用基于ROC曲线下面积的目标函数来在线训练线性分类器模型，对于线性的流式不平衡数据具有良好的分类效果。但如果流式不平衡数据具有非线性特征，则其分类效果严重下降。

在OPAUC方法中，使用线性的分类模型，使用基于ROC曲线下面积的二次目标函数来在线训练线性分类器模型，对于线性的流式不平衡数据具有良好的分类效果。但是同样对于非线性数据，效果欠佳。

在NORMA方法中，使用核函数模型，使用基于Hinge损失函数来在线训练模型，对于非线性的数据具有良好的分类效果。但是该方法处理流式不平衡数据时，容易将少数类数据错误划分为多数类数据。而少数类的数据错分代价通常比多数类数据的错分代价高，不能很好地适用于实际场景中的需求。另一方面，该方法没有提供支持向量集合的替换方法，一旦数据量增大，难以应对大数据的处理。

在Projectron方法中，使用核函数模型，使用基于铰链损失函数来在线训练模型，与NORMA同样存在不能处理流式不平衡数据的问题。

发明内容

本发明实施例提供了一种训练流式不平衡数据的方法及设备，旨在解决现有技术中无法处理流式不平衡数据以及在处理流式不平衡数据时容易忽略少数类别样本数据的准确度的问题。

第一方面，一种训练流式不平衡数据的方法，所述方法包括：

获取当前流式不平衡数据的第一类别；

比较预先存储的第二类别的流式不平衡数据的预测值和所述第一类别的当前流式不平衡数据的预测值，所述预测值用于标识预先设置的学习模型预测所述流式不平衡数据的准确度，所述第二类别与所述第一类别相反；

在所述第二类别的流式不平衡数据的预测值和所述第一类别的当前流式不平衡数据的预测值相差小于预先设置的比较阈值的情况下，通过预先设置的第一算法对目标函数进行求导，获取所述当前流式不平衡数据的权重；

根据获取的所述当前流式不平衡数据的权重和预先设置的第二算法获取所述第二类别的流式不平衡数据的权重。

结合第一方面，在第一方面的第一种可能的实现方式中，所述目标函数为：