[发明专利]数据清洗方法及系统

说明书

本发明公开一种数据清洗方法及系统，其中方法包括：基于任务映射配置依次对第一数据中每一条数据进行数据清洗，获得相对应结果数据，所述第一数据包括目标数据、样本数据和所述样本数据的标准结果数据，所述样本数据与所述目标数据的数据类型相对应，所述标准结果数据符合所述任务映射配置，所述结果数据为目标结果数据或样本结果数据；当所述结果数据为样本结果数据时，将所述样本结果数据和与其相对应的标准结果数据进行匹配，基于匹配结果生成质检数据。本发明能够在清洗过程中对清洗结果的属性和内容进行质检，并生成相应的质检数据，便于工作人员根据质检数据及时调整清洗工作，从而在提高清洗质量的同时提高清洗效率。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据清洗方法及系统。

背景技术

数据清洗是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系最终分析结论，现今通常采用人工核验的方式核验最终获得的清洗结果的质量，但通常情况下需要清洗的数据量过多，此种滞后核验的方式不便于对清洗方案进行调整，且人工核验的效率低。

发明内容

本发明针对现有技术中的缺点，提供了一种数据清洗方法及系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种数据清洗方法，包括基于任务映射配置依次对第一数据中每一条数据进行数据清洗，获得相对应结果数据的步骤：

所述第一数据包括目标数据、样本数据和所述样本数据的标准结果数据，所述样本数据与所述目标数据的数据类型相对应，所述标准结果数据符合所述任务映射配置；

所述结果数据为目标结果数据或样本结果数据；

获得结果数据后还包括质检步骤，具体步骤为：

当所述结果数据为样本结果数据时，将所述样本结果数据和与其相对应的标准结果数据进行匹配，基于匹配结果生成质检数据。

作为一种可实施方式，基于任务映射配置依次对第一数据中每一条数据进行数据清洗，获得结果数据具体步骤为：

所述任务映射配置包括各任务字段的名称和属性；

基于任务映射配置对第一数据进行数据提取，生成执行数据；

基于所述执行数据生成结果数据。

作为一种可实施方式，基于任务映射配置对第一数据进行数据提取，生成执行数据的具体步骤为：

每个任务字段包括相对应的执行数据子字段和标准结果子字段；

基于任务字段的名称从第一数据的目标数据和样本数据中提取相应数据录入至执行数据子字段，并从第一数据的标准结果数据中提取相应数据录入至标准结果子字段，生成第二数据；

将第二数据的标准结果子字段进行过滤，生成执行数据。

作为一种可实施方式，基于所述执行数据生成结果数据的具体步骤为：

对所述执行数据进行质检，获得质检数据，基于所述质检数据判断是否完成数据清洗；

当判断结果为完成数据清洗时，将所述执行数据作为结果数据；

当判断结果为未完成数据清洗时，手动或自动对执行数据进行清洗，生成相对应的结果数据。

作为一种可实施方式，当所述结果数据为样本结果数据时，将所述样本结果数据和与其相对应的标准结果数据进行匹配，基于匹配结果生成质检数据的具体步骤为：

所述第二数据包括若干条源数据，每条源数据包含所有任务字段；