[发明专利]一种数据清洗方法、装置、电子设备和介质

说明书

本发明实施例提供了一种数据清洗方法、装置、电子设备和可读存储介质，所述方法包括：在数据处理平台对业务数据进行清洗之前，获取所述业务数据的数据信息，获取用户输入的针对所述业务数据的数据清洗策略，以及获取用户根据当前可用集群资源分配的用于清洗所述业务数据的第一计算资源信息；根据所述业务数据的数据信息确定清洗所述业务数据所需分配的第二计算资源信息；根据所述数据清洗策略，从所述第一计算资源信息和所述第二计算资源信息中确定最优计算资源信息；采用所述最优计算资源信息申请集群资源后，按照所述集群资源和所述数据清洗策略对所述业务数据进行清洗。根据本发明实施例，可以避免由于开发人员导致的计算资源预估失误问题。

技术领域

本发明涉及数据库技术领域，特别是涉及一种数据清洗方法、一种数据清洗装置、一种电子设备和一种计算机可读存储介质。

背景技术

数据在生成、传输和使用过程中，可能会由于人为操作失误、网络异常或系统逻辑错误等原因，产生一些“脏数据”，包括主键重复、字段异常、类型异常、码值异常等，通常是通过数据清洗将这些异常数据进行过滤或修复。

传统的数据清洗是通过数据库技术或清洗工具，通过设定清洗指标进行清洗的。但这种清洗方式依赖于清洗工具或数据库技术，当需要对海量数据进行数据清洗时，则会导致耗时过长，并且可能会影响正常数据库的使用。传统的数据清洗方式对不同数据需要定制化开发相应的清洗程序，通用性较差，也不适用于Hadoop(Hadoop Distributed FileSystem)大数据生态圈。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据清洗方法和相应的一种数据清洗装置、一种电子设备，以及一种计算机可读存储介质。

本发明实施例公开了一种数据清洗方法，所述方法包括：

在数据处理平台对业务数据进行清洗之前，获取所述业务数据的数据信息，获取用户输入的针对所述业务数据的数据清洗策略，以及获取用户根据当前可用集群资源分配的用于清洗所述业务数据的第一计算资源信息；

根据所述业务数据的数据信息确定清洗所述业务数据所需分配的第二计算资源信息；

根据所述数据清洗策略，从所述第一计算资源信息和所述第二计算资源信息中确定最优计算资源信息；

采用所述最优计算资源信息申请集群资源后，按照所述集群资源和所述数据清洗策略对所述业务数据进行清洗。

可选地，所述业务数据的数据信息包括所述业务数据的数据量和数据记录数目，所述第二计算资源信息包括所述数据处理平台中的进程资源信息，所述根据所述业务数据的数据信息确定清洗所述业务数据所需分配的第二计算资源信息，包括：

根据所述业务数据的数据量和数据记录数目，计算清洗所述业务数据，所述数据处理平台所需分配的所述进程资源信息。

可选地，所述数据清洗策略包括多个数据清洗规则，所述根据所述数据清洗策略，从所述第一计算资源信息和所述第二计算资源信息中确定最优计算资源信息，包括：

若所述数据清洗策略中包含的数据清洗规则的数量大于预设的数量阈值，且所述数据清洗策略中包含预设的数据清洗规则，则从所述第一计算资源信息和所述第二计算资源信息中确定最大计算资源信息，并将所述最大计算资源信息确定为所述最优计算资源信息；

若所述数据清洗策略中包含的数据清洗规则的数量不大于所述预设的数量阈值，且所述数据清洗策略中不包含所述预设的数据清洗规则，则从所述第一计算资源信息和所述第二计算资源信息中确定最小计算资源信息，并将所述最小计算资源信息确定为所述最优计算资源信息。

可选地，所述采用所述最优计算资源信息申请集群资源后，按照所述集群资源和所述数据清洗策略对所述业务数据进行清洗，包括：