[发明专利]一种基于数据集成的特异数据自适应检测方法

权利要求书

1.一种特异数据检测方法，其特征在于，包括如下步骤：

步骤1、在目标数据集中切分出训练数据集；

步骤2、判断训练数据集中样本数量是否大于设定阈值：

如果不大于，使用支持向量机作为基分类器；

如果大于，再判断训练数据集中正样本比例是否大于5％：

如果不大于，则使用决策树算法作为基分类器；

如果大于，使用逻辑回归算法作为基分类器；

将训练数据集输入到选择的基分类器中进行训练，得到分类结果和运行时间Tb；

步骤3、基于代价敏感学习方法，对训练数据集进行分类并获得代价矩阵其中，C_TP表示真实为正样本而预测为正样本的代价；C_FP表示真实为负样本而预测为正样本的代价；C_TN表示真实为负样本而预测为负样本的代价；C_FN表示真实为正样本而预测为负样本的代价；最后计算代价比

步骤4、判断是否考虑错分代价：

如果不考虑代价矩阵，再判断正样本比例是否大于5％：

如果不大于，使用优化集成学习方法作为分类算法；

如果大于，再判断是否要求最终的分类算法的运行时间低于运行时间Tb：如果不要求，选择欠抽样方法结合步骤2的基分类器作为分类算法；如果要求，使用集成学习方法作为分类算法；

如果考虑代价矩阵，再判断代价比是否大于50：

如果不大于50，再判断正样本比例是否大于5％：如果不大于5％，使用优化集成学习方法作为分类算法，如果大于5％，使用集成学习方法；

如果大于50，再判断正样本比例是否大于5％：

如果不大于5％，且要求最终分类算法运行时间小于Tb时，使用MetaCost-1:1结合步骤2选择的基分类器作为分类算法，如果不大于5％且不要求运行时间时，使用优化集成学习方法作为分类算法；

如果大于5％，使用优化集成学习方法作为分类算法；

步骤5、采用步骤4选择的最终分类算法获得分类结果。

2.如权利要求1所述的一种特异数据检测方法，其特征在于，所述步骤1中，针对不同来源的数据集，先进行过滤和筛选操作，再通过数据库语言建立与数据仓库的连接，实现不同来源、格式和特点的数据的统一处理，得到目标数据集。

3.如权利要求1所述的一种特异数据检测方法，其特征在于，所述步骤1中，所述步骤1中，在目标数据集中切分出测试数据集，代入到最终的分类算法中，对步骤5的分类结果进行检验。

4.如权利要求1所述的一种特异数据检测方法，其特征在于，所述步骤2中，设定阈值为1000。