[发明专利]数据质量判定及监测方法、管理系统、存储介质、终端

权利要求书

1.一种数据质量判定及监测方法，其特征在于，所述数据质量判定及监测方法包括：

对不同来源的数据，根据每个字段配置的质量判定规则，进行数据质量判定，并对每一项质量要求进行逐一核查，所有检测项均判定合格后入库；

对于数据质量判定过程中发现的不合格数据，根据所述不合格数据异常类型配置对应的处理程序，保留有价值的数据，去除无用的数据；

对数据持续进行质量监测，进行重复率、缺失率、错误率相关指标统计分析，最终输出数据质量报告。

2.根据权利要求1所述的数据质量判定及监测方法，其特征在于，所述数据质量判定方法包括：

步骤1：导入已采集数据；

步骤2：对导入数据表进行确认，根据数据表的类型调用对应的数据质量判定规则；

步骤3：启动数据质量判定程序，自动检测数据质量是否满足要求；

步骤4：检查数据唯一性，使用md5计算公式生成唯一索引id，通过程序判定此id是否重复，id唯一的数据直接流入下一核查环节；所述md5计算公式为：数据来源+数据产生时间+数据内容；

步骤5：检查数据完整性，设置非空字段，任意非空字段出现缺失值，判定为不合格；所有非空字段数据完整，判定为合格，进入下一核查环节；

步骤6：检查数据准确性，包括数据的采集内容与字段要求一一对应、数据格式符合要求、数据时间或内容之间逻辑性合理；判定数据正确后，直接存入数据库；

步骤7：对于步骤4～6中判定不合格的数据会进行异常类型标注；

步骤8：根据步骤7标注的异常类型，对不合格数据执行对应的处理程序，修复或过滤不合格数据；

步骤9：异常数据处理后重新进行数据质量判定，经过唯一性、完整性和准确性三项检测后判定合格的数据入库存储，不合格数据则被过滤掉。

3.根据权利要求2所述的数据质量判定及监测方法，其特征在于，所述步骤2中数据质量判定规则包括：

(1)唯一性：以索引id为主键，索引id不重复；

(2)完整性：所有必要字段不存在数据缺失；

(3)准确性：根据业务需求进行数据采集，包括内容准确、格式准确、逻辑准确；错误类型包括采集数据与字段不匹配、包含特殊字符、字符乱码、格式不统一、逻辑冲突。

4.根据权利要求2所述的数据质量判定及监测方法，其特征在于，所述步骤3数据质量判定程序包括：唯一性、完整性和准确性检测，通过每一项检测后，判定为合格数据；

所述唯一性检测包括：通过自动化脚本判定数据源的索引id是否重复出现，索引id重复出现则判定为唯一性检测不合格；

所述完整性检测包括：通过自动化脚本判定数据源的所有必要字段是否存在缺失值，任一必要字段存在缺失值则判定为完整性检测不合格；

所述准确性检测包括：通过自动化脚本判定数据源的所有字段格式是否符合要求，以及通过设置判断条件判定不同字段之间是否存在逻辑冲突；出现内容不匹配、格式错误、逻辑不合理错误类型则判定为准确性检测不合格。

5.根据权利要求2所述的数据质量判定及监测方法，其特征在于，所述步骤8具体包括：

(1)对于id重复的数据，通过自动去重程序进行去重处理，保留第一个数据；

(2)对于非空字段缺失的数据，首先分析填充数据，填充方式包括：重新确认原始数据、使用平均值/中位数/众数填充缺失值、使用插值法填充缺失值；其次分析删除数据，在原始数据无法确认或者填充无意义的情况下，直接剔除数据；

(3)根据数据的错误类型，选择不同的数据修复方法；对于内容采集错误、逻辑不合理的数据，重新确认原始数据，无法确认则删除；对于格式错误的数据，通过自动转换格式程序进行格式转换。