[发明专利]一种数据清洗方法、装置、电子设备和介质

权利要求书

1.一种数据清洗方法，其特征在于，所述方法包括：

在数据处理平台对业务数据进行清洗之前，获取所述业务数据的数据信息，获取用户输入的针对所述业务数据的数据清洗策略，以及获取用户根据当前可用集群资源分配的用于清洗所述业务数据的第一计算资源信息；

根据所述业务数据的数据信息确定清洗所述业务数据所需分配的第二计算资源信息；

根据所述数据清洗策略，从所述第一计算资源信息和所述第二计算资源信息中确定最优计算资源信息；

采用所述最优计算资源信息申请集群资源后，按照所述集群资源和所述数据清洗策略对所述业务数据进行清洗。

2.根据权利要求1所述的方法，其特征在于，所述业务数据的数据信息包括所述业务数据的数据量和数据记录数目，所述第二计算资源信息包括所述数据处理平台中的进程资源信息，所述根据所述业务数据的数据信息确定清洗所述业务数据所需分配的第二计算资源信息，包括：

根据所述业务数据的数据量和数据记录数目，计算清洗所述业务数据，所述数据处理平台所需分配的所述进程资源信息。

3.根据权利要求1或2所述的方法，其特征在于，所述数据清洗策略包括多个数据清洗规则，所述根据所述数据清洗策略，从所述第一计算资源信息和所述第二计算资源信息中确定最优计算资源信息，包括：

若所述数据清洗策略中包含的数据清洗规则的数量大于预设的数量阈值，且所述数据清洗策略中包含预设的数据清洗规则，则从所述第一计算资源信息和所述第二计算资源信息中确定最大计算资源信息，并将所述最大计算资源信息确定为所述最优计算资源信息；

若所述数据清洗策略中包含的数据清洗规则的数量不大于所述预设的数量阈值，且所述数据清洗策略中不包含所述预设的数据清洗规则，则从所述第一计算资源信息和所述第二计算资源信息中确定最小计算资源信息，并将所述最小计算资源信息确定为所述最优计算资源信息。

4.根据权利要求3所述的方法，其特征在于，所述采用所述最优计算资源信息申请集群资源后，按照所述集群资源和所述数据清洗策略对所述业务数据进行清洗，包括：

采用所述最优计算资源信息申请集群资源后，确定所述多个数据清洗规则的调用顺序；

按照所述集群资源和所述调用顺序依次对所述业务数据进行清洗。

5.根据权利要求3所述的方法，其特征在于，所述数据清洗规则包括行清洗规则，列清洗规则和主键清洗规则中的至少一种。

6.根据权利要求3所述的方法，其特征在于，所述采用所述最优计算资源信息申请集群资源后，按照所述集群资源和所述数据清洗策略对所述业务数据进行清洗之后，还包括：

确定数据清洗结果；

若所述数据清洗结果包含未能修复的脏数据，则输出对应的数据流并将所述数据流按照命中的数据清洗规则存储于预设目录中。

7.根据权利要求3所述的方法，其特征在于，所述采用所述最优计算资源信息申请集群资源后，按照所述集群资源和所述数据清洗策略对所述业务数据进行清洗，包括：

采用所述最优计算资源信息申请集群资源后，采用反射机制实例化所述数据清洗策略中的各个数据清洗规则；

按照所述集群资源和所述实例化后的数据清洗规则对所述业务数据进行清洗。

8.一种数据清洗装置，其特征在于，所述装置包括：

获取模块，用于在数据处理平台对业务数据进行清洗之前，获取所述业务数据的数据信息，获取用户输入的针对所述业务数据的数据清洗策略，以及获取用户根据当前可用集群资源分配的用于清洗所述业务数据的第一计算资源信息；

第一确定模块，用于根据所述业务数据的数据信息确定清洗所述业务数据所需分配的第二计算资源信息；

第二确定模块，用于根据所述数据清洗策略，从所述第一计算资源信息和所述第二计算资源信息中确定最优计算资源信息；

清洗模块，用于采用所述最优计算资源信息申请集群资源后，按照所述集群资源和所述数据清洗策略对所述业务数据进行清洗。