[发明专利]数据清洗方法、装置、存储介质及电子设备

说明书

本发明公开了一种数据清洗方法、装置、存储介质及电子设备。其中，该方法包括：响应目标对象对多个操作节点的操作命令，生成第一流程图，其中，每个操作节点用于执行第一流程图对应的目标数据清洗任务的至少一项操作，第一流程图表征多个操作节点的执行顺序；根据第一流程图，确定目标数据清洗任务的清洗规则，其中，清洗规则至少包括多个操作节点的运行规则；基于清洗规则，对目标数据清洗任务对应的源数据集进行数据清洗处理，得到目标清洗结果，其中，目标清洗结果表征数据清洗处理是否成功。本发明解决了现有技术中采用编写代码的方式进行数据清洗，存在数据清洗任务的执行效率低的技术问题。

技术领域

本发明涉及计算机软件控制技术领域，具体而言，涉及一种数据清洗方法、装置、存储介质及电子设备。

背景技术

随着企业各级人员数据意识的提升，传统式面向开发人员的数据准备和报表开发工具耗时长、效率低、响应慢，越来越多的业务人员开始使用自助式分析系统，但是很多时候，原始数据源不能支撑最终分析场景的要求，且大部分自助式商业智能分析工具都不包含数据清洗的功能，仍需要依靠专业的数据工程师通过编写SQL语句和代码来处理，开发成本大，并且会产生大量的沟通成本，数据工程师对代码的调试、实装，业务人员对最终数据校对、反馈等工作也会耗费不少时间，使实时性大打折扣，存在数据清洗任务的执行效率低的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据清洗方法、装置、存储介质及电子设备，以至少解决现有技术中采用编写代码的方式进行数据清洗，存在数据清洗任务的执行效率低的技术问题。

根据本发明实施例的一个方面，提供了一种数据清洗方法，包括：响应目标对象对多个操作节点的操作命令，生成第一流程图，其中，每个操作节点用于执行第一流程图对应的目标数据清洗任务的至少一项操作，第一流程图表征多个操作节点的执行顺序；根据第一流程图，确定目标数据清洗任务的清洗规则，其中，清洗规则至少包括多个操作节点的运行规则；基于清洗规则，对目标数据清洗任务对应的源数据集进行数据清洗处理，得到目标清洗结果，其中，目标清洗结果表征数据清洗处理是否成功。

进一步地，基于清洗规则，对目标数据清洗任务对应的源数据集进行数据清洗处理，得到目标清洗结果，包括：确定每个操作节点的节点状态，其中，节点状态为以下之一：未修改状态、已修改状态；从每个操作节点的运行规则中，获取多个目标操作节点的运行规则，生成第一清洗规则，其中，多个目标操作节点的节点状态为已修改状态；基于第一清洗规则，对目标数据清洗任务对应的源数据集进行数据清洗处理，得到目标清洗结果。

进一步地，基于第一清洗规则，对目标数据清洗任务对应的源数据集进行数据清洗处理，得到目标清洗结果，包括：基于第一清洗规则，从每个目标操作节点对应的执行命令中确定第一执行命令和第二执行命令，其中，第一执行命令的执行顺序优先于第二执行命令的执行顺序；执行第一执行命令，对目标数据清洗任务对应的源数据集进行数据清洗处理，生成第一数据集；执行第二执行命令，对第一数据集进行数据清洗处理，生成第二数据集，其中，第二数据集的数据标准程度高于第一数据集的数据标准程度；基于第二数据集，生成目标清洗结果。