[发明专利]一种基于数据集成的特异数据自适应检测方法

摘要

本发明提供了一种基于数据集成的特异数据自适应检测方法，首先把不同来源、格式、特点的数据在数据仓库中集成以实现快速、高效的统一调配，根据数据特征选择不同的基分类器作为实验分类效果评价基准，基于代价敏感学习方法提出了适应不同代价比的分类算法选择模型，获得了自适应检测特异数据的方法，具有良好的稳定性和精确性，为数据处理研究人员在特异数据检测方面提供了新的思路。

主权项

1.一种特异数据检测方法，其特征在于，包括如下步骤：步骤1、在目标数据集中切分出训练数据集；步骤2、判断训练数据集中样本数量是否大于设定阈值：如果不大于，使用支持向量机作为基分类器；如果大于，再判断训练数据集中正样本比例是否大于5％：如果不大于，则使用决策树算法作为基分类器；如果大于，使用逻辑回归算法作为基分类器；将训练数据集输入到选择的基分类器中进行训练，得到分类结果和运行时间Tb；步骤3、基于代价敏感学习方法，对训练数据集进行分类并获得代价矩阵其中，C_TP表示真实为正样本而预测为正样本的代价；C_FP表示真实为负样本而预测为正样本的代价；C_TN表示真实为负样本而预测为负样本的代价；C_FN表示真实为正样本而预测为负样本的代价；最后计算代价比步骤4、判断是否考虑错分代价：如果不考虑代价矩阵，再判断正样本比例是否大于5％：如果不大于，使用优化集成学习方法作为分类算法；如果大于，再判断是否要求最终的分类算法的运行时间低于运行时间Tb：如果不要求，选择欠抽样方法结合步骤2的基分类器作为分类算法；如果要求，使用集成学习方法作为分类算法；如果考虑代价矩阵，再判断代价比是否大于50：如果不大于50，再判断正样本比例是否大于5％：如果不大于5％，使用优化集成学习方法作为分类算法，如果大于5％，使用集成学习方法；如果大于50，再判断正样本比例是否大于5％：如果不大于5％，且要求最终分类算法运行时间小于Tb时，使用MetaCost‑1:1结合步骤2选择的基分类器作为分类算法，如果不大于5％且不要求运行时间时，使用优化集成学习方法作为分类算法；如果大于5％，使用优化集成学习方法作为分类算法；步骤5、采用步骤4选择的最终分类算法获得分类结果。