[发明专利]数据清洗方法及系统

权利要求书

1.一种数据清洗方法，包括基于任务映射配置依次对第一数据中每一条数据进行数据清洗，获得相对应结果数据的步骤，其特征在于：

所述第一数据包括目标数据、样本数据和所述样本数据的标准结果数据，所述样本数据与所述目标数据的数据类型相对应，所述标准结果数据符合所述任务映射配置；

所述结果数据为目标结果数据或样本结果数据；

获得结果数据后还包括质检步骤，具体步骤为：

当所述结果数据为样本结果数据时，将所述样本结果数据和与其相对应的标准结果数据进行匹配，基于匹配结果生成质检数据。

2.根据权利要求1所述的数据清洗方法，其特征在于，基于任务映射配置依次对第一数据中每一条数据进行数据清洗，获得结果数据具体步骤为：

所述任务映射配置包括各任务字段的名称和属性；

基于任务映射配置对第一数据进行数据提取，生成执行数据；

基于所述执行数据生成结果数据。

3.根据权利要求2所述的数据清洗方法，其特征在于，基于任务映射配置对第一数据进行数据提取，生成执行数据的具体步骤为：

每个任务字段包括相对应的执行数据子字段和标准结果子字段；

基于任务字段的名称从第一数据的目标数据和样本数据中提取相应数据录入至执行数据子字段，并从第一数据的标准结果数据中提取相应数据录入至标准结果子字段，生成第二数据；

将第二数据的标准结果子字段进行过滤，生成执行数据。

4.根据权利要求3所述的数据清洗方法，其特征在于，基于所述执行数据生成结果数据的具体步骤为：

对所述执行数据进行质检，获得质检数据，基于所述质检数据判断是否完成数据清洗；

当判断结果为完成数据清洗时，将所述执行数据作为结果数据；

当判断结果为未完成数据清洗时，手动或自动对执行数据进行清洗，生成相对应的结果数据。

5.根据权利要求3或4任一所述的数据清洗方法，其特征在于，当所述结果数据为样本结果数据时，将所述样本结果数据和与其相对应的标准结果数据进行匹配，基于匹配结果生成质检数据的具体步骤为：

所述第二数据包括若干条源数据，每条源数据包含所有任务字段；

当所得结果数据所对应的源数据中包含标准结果数据时，判定所述结果数据为样本结果数据，将所述样本结果数据按照预设的排列规则进行排列，生成有序样本结果数据，同时将所述源数据中的标准结果数据按照预设的排列规则进行排列，生成有序标准结果数据；

将所述有序样本结果数据和所述有序标准结果数据中的数据内容一一进行匹配，根据匹配结果生成质检数据；

所述质检数据为当前质检数据和/或平均质检数据。

6.根据权利要求1至4任一所述的数据清洗方法，其特征在于，第一数据的获取方法为：

按照目标数据的数据类型对目标数据进行分类，获得至少一个第一目标数据子集；

根据所述数据类型和预设的添加规则于每个目标数据子集中添加相对应的样本数据和所述样本数据的标准结果数据，获得相对应的第二目标数据子集，由各第二目标子集构成第一数据。

7.一种数据清洗系统，其特征在于，包括清洗子系统和质检子系统；

所述清洗子系统用于基于任务映射配置依次对第一数据中每一条数据进行数据清洗，获得相对应结果数据：

所述第一数据包括目标数据、样本数据和所述样本数据的标准结果数据，所述样本数据与所述目标数据的数据类型相对应，所述标准结果数据符合所述任务映射配置；

所述结果数据为目标结果数据或样本结果数据；

所述质检子系统，用于当所述结果数据为样本结果数据时，将所述样本结果数据和与其相对应的标准结果数据进行匹配，基于匹配结果生成质检数据。