[发明专利]一种基于分类模型判断的数据质量监控方法

摘要

本发明公开了一种基于分类模型判断的数据质量监控方法，该方法包括：步骤1，人工筛选获取的数据集，将没有字段值缺失的数据进行质量好坏的标记；步骤2，依据标记好的数据进行分类模型训练；步骤3，将训练后的分类模型以预测模型标记语言的形式进行持久化保存；步骤4，将需要整合的数据进行预处理，以满足分类模型数据输入的要求；步骤5，在数据整合的过程中对预测模型标记语言文件进行解析调用；步骤6，依据分类模型对整合数据进行分类标记；步骤7，依据标记结果，对数据进行处理。本发明的有益效果为：无需进行大量数据质量规则的制定与维护，提高了数据质量监控的效率。

主权项

1.一种基于分类模型判断的数据质量监控方法，其特征在于，该方法包括：步骤1，人工筛选获取的数据集，将没有字段值缺失的数据进行质量好坏的标记；步骤2，依据标记好的数据进行分类模型训练；步骤3，将训练后的分类模型以预测模型标记语言的形式进行持久化保存；步骤4，将需要整合的数据进行预处理，以满足分类模型数据输入的要求；步骤5，在数据整合的过程中对预测模型标记语言文件进行解析调用；步骤6，依据分类模型对整合数据进行分类标记；步骤7，依据标记结果，对数据进行处理；所述步骤1具体包括：步骤101，获取业务数据后，人工筛选数据集，如果数据中有缺失的字段值，则舍弃该数据，如果数据中没有缺失的字体值，则保留该数据；步骤102，在保留的数据字段上，添加一个标记字段；步骤103，人工地对数据质量的好坏进行标记，其中，将符合质量要求的数据标记字段+1，将不符合质量要求的数据标记字段‑1；所述步骤2中，对分类模型进行优化，具体包括：步骤201，对标记的数据集进行强关联字段组合，生成新的特征字段，计算组合字段值，同时，舍弃掉原有字段；步骤202，利用随机森林分类器，将其中部分棵决策树分类模型修改调整为支持向量机分类模型；所述步骤4具体包括：步骤401，对需要整合的数据集进行筛选，如果数据中有缺失的字段值，则将该数据标记字段‑1，并且不运行分类模型判断的流程，如果数据中没有缺失的字段值，则进行步骤402；步骤402，将需要整合的多源异构数据进行元数据统一；步骤403，将统一后的数据集进行强关联字段组合，生成新的特征字段，并计算组合字段值。