[发明专利]基于Spark大数据平台的三支决策不平衡数据过采样方法

摘要

本发明请求保护一种基于Spark大数据平台的三支决策不平衡数据过采样方法，涉及数据挖掘邻域，Spark大数据技术。首先使用Spark的RDD进行数据变换，得到归一化的LabeledPoint格式的样本集，并分成训练集和测试集；其次采用Spark的RDD进行数据变化，求样本间的距离，确定领域半径，根据邻域三支决策模型将整个训练集中的样本划分成正域样本，边界域样本和负域样本；然后分别对边界域样本，负域样本进行过采样；最后调用Spark Mllib机器学习算法，验证采样效果。本发明有效解决大规模不平衡数据集在机器学习和模式识别领域中的分类问题。

主权项

1.一种基于Spark大数据平台的三支决策不平衡数据过采样方法，其特征在于，包括以下步骤：1)、在数据预处理阶段，获取并存储需要采样的样本集，对整个样本使用Spark进行数据变换，得到归一化的LabeledPoint格式<label:[features]>的样本集，然后分成训练集和测试集；2)、训练集划分阶段，采用Spark进行数据变换，求样本间的距离，确定邻域半径，最后根据邻域三支决策模型将整个训练集中的样本划分成正域样本，边界域样本和负域样本；3)、采样阶段，首先利用Spark进行数据变换得到边界域中每个小类样本的K近邻，然后插值采样，对负域中的样本通过放大负域中小类样本的邻域半径，筛选非噪声点，进行过采样处理操作：对每个非噪声点找到距离其最近的小类样本，在以两者距离为邻域半径的邻域内合成K个新的小类样本点；步骤3)利用Spark进行数据变换得到边界域中每个小类样本的K近邻，然后插值采样包括步骤：对转化后的type_RDD，调用Filter算子，选择x_i的类别为小类样本且x_i的类型为边界域样本的记录，定义为新的BND_RDD；然后与持久化在内存中的RDD进行join操作,筛选得到属于边界域的小类样本，然后调用Map算子，最终得到<x_i的标号,[x_i的特征集]，[x_j的特征集]>,其中x_i和x_j的类别均为小类样本，且x_i的类型为边界域样本，最后调用Map算子根据样本合成公式合成K个新小类样本，格式为<类别＝1，[新特征集]>添加到用来存储新合成的样本NewSimpleSet；4)、训练验证阶段，选取训练器进行训练验证，对采样前和采样后的实验结果对比。