[发明专利]一种面向多分类的不平衡数据预处理方法、装置及设备

权利要求书

1.一种面向多分类的不平衡数据预处理方法，其特征在于，包括如下步骤：

读取原始样本集；其中，所述原始样本集包括至少两个类别的样例集；

接收由用户输入的最终样本集大小以及各个样例集之间的不平衡比，以计算得出最终样本集中每个样例集中的理想样例个数；

根据每个样例集的理想样例个数和实际样例个数判断该样例集属于少数类样例集还是多数类样例集；

对每个少数类样例集中的样例，计算每个样例的k近邻中其他类样例和属于该少数类样例集中的样例的个数，以将每个样例划分为噪音样例、不稳定样例、边界样例或稳定样例并打上相应的标记；其中，其他类样例是指除该少数类样例集中的样例以外的其他样例集中的样例；

对每个少数类样例集中的样例，根据每个样例的标记进行删除、保存、复制或者合成，以得到相应于每个少数类样例集的最终少数类样例集；

对每个多数类样例集中的样例，计算每个样例的k近邻中属于该多数类样例集中的样例和其他类样例的个数，以将每个样例划分为噪音样例、边界样例或稳定样例，并打上相应的标记；

对每个多数类样例集中的样例，根据每个样例的标记进行删除或保存，以得到相应于每个多数类样例集的最终多数类样例集；

根据所述最终少数类样例集以及多数类样例集，生成最终样本集，以实现不平衡数据的预处理。

2.根据权利要求1所述的面向多分类的不平衡数据预处理方法，其特征在于，所述根据每个样例集的理想样例个数和实际样例个数判断该样例集属于少数类样例集还是多数类样例集具体为：

对于每个样例集，若其理想样例个数大于实际样例个数，则判断该样例集为少数类样例集；若其理想样例个数小于等于实际样例个数，则判断该样例集为多数类样例集。

3.根据权利要求1所述的面向多分类的不平衡数据预处理方法，其特征在于，所述对每个少数类样例集中的样例，计算每个样例的k近邻中其他类样例和属于该少数类样例集中的样例的个数，以将每个样例划分为噪音样例、不稳定样例、边界样例或稳定样例并打上相应的标记，具体包括：

当判断少数类样例集中的样例的k近邻样例中绝大多数为其他类样例时，则标记该样例为噪音样例；

当判断少数类样例集中的样例的k近邻样例大多数为其他类样例时，则标记该样例为不稳定样例；

当判断少数类样例集中的样例的k近邻样例的其他类样例的个数与少数类样例集中的样例的个数接近时，则标记该样例为边界样例；

当判断少数类样例集中的样例的k近邻样例大多数为属于该少数类样例集中的样例时，则标记该样例为稳定样例。

4.根据权利要求3所述的面向多分类的不平衡数据预处理方法，其特征在于，所述对每个少数类样例集中的样例，根据每个样例的标记进行删除、保存、复制或者合成，以得到相应于每个少数类样例集的最终少数类样例集，具体为：

对每个少数类样例集中的样例：

删除该少数类样例集中的所有噪音样例；

把所有不稳定样例加入相应的最终少数类样例集；

对每个边界样例进行复制，复制个数为∣c-1∣，将该边界样例以及复制的样例一起加入相应的最终少数类样例集；其中，c为复制比，且c＝(该少数类样例集的理想样例个数-不稳定样例个数)/(该少数类样例集的实际样例个数-噪音样例个数-不稳定样例个数)；

对每个稳定样例，与周围样例合成新样例，合成个数为∣c-1∣，并将该样例以及新合成的样例一起加入相应的最终少数类样例集；其中，合成方法为每次从该稳定样例x_i的k近邻中随机选择一个属于该少数类样例集中的样例xj，新合成的样例x_i’＝xi+(xi-xj)*a，a为0到1之间的随机数；

计算还需生成的属于该少数类样例集的样例个数d；其中，d＝该少数类样例集的理想样例个数-最终少类样例集中的属于该少数类样例集的样例的当前个数；

随机选择d个稳定样例，每个稳定样例与周围样例合成一个新样例，将合成的新样例加入到相应的最终少数类样例集中；

获得相应于每个少数类样例集的最终少数类样例集。