[发明专利]数据处理方法和数据处理设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取原始数据集；

根据所述原始数据集中样本的类别标签，确定多个分类数据集；

所述多个分类数据集包括第一分类数据集和第二分类数据集；

确定所述第一分类数据集的第一离散程度和所述第二分类数据集的第二离散程度；

根据所述第一离散程度和所述第二离散程度确定所述第一分类数据集的第一样本删减比例和所述第二分类数据集的第二样本删减比例，若所述第一离散程度大于所述第二离散程度，则所述第一样本删减比例小于所述第二样本删减比例，若所述第一离散程度小于或等于所述第二离散程度，则所述第一样本删减比例大于或等于所述第二样本删减比例；

确定第一目标数据集，所述第一目标数据集包括所述第一分类数据集保留的样本和所述第二分类数据集保留的样本，所述第一分类数据集保留的样本根据所述第一样本删减比例、所述第一分类数据集的样本量和预设的第一样本删减总量确定，所述第二分类数据集保留的样本根据所述第二样本删减比例、所述第二分类数据集的样本量和预设的样本删减总量确定。

2.根据权利要求1所述的方法，其特征在于，

所述第一离散程度为根据所述第一分类数据集中所有样本的特征向量确定的第一平均散度；所述第二离散程度为根据所述第二分类数据集中所有样本的特征向量确定的第二平均散度。

3.根据权利要求2所述的方法，其特征在于，

所述第一平均散度为第一相对熵KL散度或第一杰森香农JS散度的平均值，所述第一KL散度为所述第一分类数据集中任意两个样本的特征向量的KL散度，所述第一JS散度为所述第一分类数据集中任意两个样本的特征向量的JS散度；

所述第二平均散度为第二KL散度或第二JS散度的平均值，所述第二KL散度为所述第二分类数据集中任意两个样本的特征向量的KL散度，所述第二JS散度为所述第二分类数据集中任意两个样本的特征向量的JS散度。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一离散程度和所述第二离散程度确定所述第一分类数据集的第一样本删减比例和所述第二分类数据集的第二样本删减比例包括：

确定所述多个分类数据集中每个分类数据集的散度之和；

确定所述第一散度与所述散度之和的比例，以及所述第二散度与所述散度之和的比例；

根据所述第一散度与所述散度之和的比例、所述第二散度与所述散度之和的比例、所述第一分类数据集的样本量、所述第二分类数据集的样本量和预设的样本删减总量，确定所述第一样本删减比例与所述第二样本删减比例。

5.根据权利要求4所述的方法，其特征在于，所述预设的样本删减总量根据预设的总样本删减比例和所述原始数据集的样本总量确定。

6.根据权利要求1所述的方法，其特征在于，所述第一离散程度与所述第一样本删减比例负相关，所述第二离散程度与所述第二样本删减比例负相关。

7.根据权利要求1所述的方法，其特征在于，所述确定第一目标数据集包括：

根据所述第一样本删减比例和所述第一分类数据集的样本量确定所述第一分类数据集的第一样本删减量；

根据所述第二样本删减比例和所述第二分类数据集的样本量确定所述第二分类数据集的第二样本删减量；

基于所述第一样本删减量从所述第一分类数据集删减样本，以确定所述第一分类数据集保留的样本，所述第一分类数据集保留的样本的密度均值小于所述第一分类数据集的样本的密度均值；

基于所述第二样本删减量从所述第二分类数据集删减样本，以确定所述第二分类数据集保留的样本，所述第二分类数据集保留的样本的密度均值小于所述第二数据集的样本的密度均值；

所述密度均值为根据局部异常因子LOF算法计算的样本的异常度的均值。