[发明专利]一种类别不平衡样本的处理方法和系统

权利要求书

1.一种类别不平衡样本的处理方法，其特征在于，包括以下步骤：

获取原始样本，所述原始样本包括原始多数类样本和原始少数类样本；

对所述原始样本的样本特征进行分析，根据分析结果确定代表特征；

基于所述代表特征，确定所述原始多数类样本的类内离群点，删除所述原始多数类样本中的类内离群点，得到目的多数类样本；

和/或，基于所述代表特征，确定所述原始少数类样本的核心种子簇，基于所述核心种子簇对所述原始少数类样本过采样，得到目的少数类样本；

基于所述目的多数类样本和/或目的少数类样本，生成均衡样本。

2.根据权利要求1所述的处理方法，其特征在于，对所述原始样本的样本特征进行分析，确定代表特征，包括以下步骤：

对样本特征采用基尼系数法进行重要度分析，选取重要度高的样本特征；

对样本特征采用皮尔逊相关系数法进行相关性分析，删除冗余特征；

根据重要度分析和相关性分析的结果，确定代表特征。

3.根据权利要求1所述的处理方法，其特征在于，基于所述代表特征，确定所述原始多数类样本的类内离群点，删除所述原始多数类样本中的类内离群点，得到目的多数类样本，包括以下步骤：

S1、将所述原始多数类样本记为样本C₀，基于所述代表特征，计算所述样本C₀的类内紧密性系数值CP₀；基于所述样本C₀得到样本C’，使得C’＝C₀；

S2、基于所述代表特征，计算所述样本C’中各样本点与类中心的欧氏距离，移除样本C’中与类中心的欧氏距离最大的样本点，更新样本C’；

S3、基于所述代表特征，计算样本C’的类内紧密性系数值CP_i’；

S4、重复步骤S2-S3直至i’＝n₀-n’，得到紧密性改变量序列D-CP＝{△CP₁，△CP₂，…△CP_i’}，当i’＝1时，△CP_i’＝CP_i’-CP₀，当i’＞1时，△CP_i'＝CP_i'-CP_i'-1；

其中，i’为步骤S2-S3的执行次数，n₀为样本C₀中的样本点个数，n’为预设值，△CP₁、△CP₂、…△CP_i’分别为每次执行步骤S2-S3后得到的紧密性改变量；

S5、对所述紧密性改变量序列D-CP进行曲线拟合，基于曲线拟合的结果确定所述原始多数类样本的类内离群点，删除所述原始多数类样本中的类内离群点，得到目的多数类样本。

4.根据权利要求3所述的处理方法，其特征在于，所述类内紧密性系数值是指类内各样本点到其类中心的平均距离，具体计算公式为：其中，CP_i代表类i的紧密性系数值，Ω_i表示类i中总的样本点数，x_i表示类i中的样本点，ω_i表示类中心。

5.根据权利要求1所述的处理方法，其特征在于，基于所述代表特征，确定所述原始少数类样本的核心种子簇，基于所述核心种子簇对所述原始少数类样本过采样，得到目的少数类样本，包括以下步骤：

基于所述代表特征，采用k-means聚类算法将所述原始少数类样本划分为若干种子簇；

计算所述种子簇与其他类样本的分离度，基于所述分离度，从若干所述种子簇筛选出一个或多个作为所述原始少数类样本的核心种子簇；其中，其他类样本是指除该种子簇所在的原始少数类样本以外的其他类样本；

通过smote算法对所述核心种子簇进行过采样，将过采样得到的新的样本点加入到原始少数类样本中，得到目的少数类样本。