[发明专利]一种数据清洗的方法和装置

权利要求书

1.一种数据清洗的方法，其特征在于，预先设有标准数据元与清洗规则之间的对应关系，所述方法包括：

接收清洗任务，所述清洗任务中包括待清洗数据；

获取所述待清洗数据中各字段的属性；

判断所述字段的属性是否匹配所述对应关系中的标准数据元；

若匹配，则获取所述标准数据元对应的清洗规则；

采用所述清洗规则对匹配标准数据元的字段进行清洗。

2.根据权利要求1所述方法，其特征在于，所述方法还包括：

通过可视化界面展示匹配到的标准数据元和对应的清洗规则；

接收用户基于所述可视化界面设置的针对所述标准数据元的自定义清洗规则；

基于所述匹配得到的清洗规则和用户设置的自定义清洗规则，对匹配标准数据元的字段进行清洗。

3.根据权利要求2所述方法，其特征在于，所述通过可视化界面展示匹配到的标准数据元和对应的清洗规则，包括：

将匹配得到的标准数据元、清洗规则和对应的清洗示例展示给用户。

4.根据权利要求2所述方法，其特征在于，所述清洗任务为多个，所述方法还包括：

根据匹配得到的清洗规则和用户自定义清洗规则，生成清洗模板；

利用所述清洗模板对多个清洗任务中的剩余清洗任务进行清洗。

5.根据权利要求1所述方法，其特征在于，所述方法还包括：

记录清洗任务对应的清洗结果；

基于所述清洗结果重新设置所述标准数据元和清洗规则的对应关系。

6.一种数据清洗的装置，其特征在于，预先设有标准数据元与清洗规则之间的对应关系，所述装置包括：

接收单元，用于接收清洗任务，所述清洗任务中包括待清洗数据；

属性获取单元，用于获取所述待清洗数据中各字段的属性；

判断单元，用于判断所述字段的属性是否匹配所述对应关系中的标准数据元；

规则获取单元，用于若匹配，则获取所述标准数据元对应的清洗规则；

清洗单元，用于采用所述清洗规则对匹配标准数据元的字段进行清洗。

7.根据权利要求6所述装置，其特征在于，所述装置还包括：

通过可视化界面展示匹配到的标准数据元和对应的清洗规则；

接收用户基于所述可视化界面设置的针对所述标准数据元的自定义清洗规则；

基于所述匹配得到的清洗规则和用户设置的自定义清洗规则，对匹配标准数据元的字段进行清洗。

8.根据权利要求7所述装置，其特征在于，所述通过可视化界面展示匹配到的标准数据元和对应的清洗规则，包括：

将匹配得到的标准数据元、清洗规则和对应的清洗示例展示给用户。

9.根据权利要求7所述装置，其特征在于，所述清洗任务为多个，所述装置还包括：

根据匹配得到的清洗规则和用户自定义清洗规则，生成清洗模板；

利用所述清洗模板对多个清洗任务中的剩余清洗任务进行清洗。

10.根据权利要求6所述装置，其特征在于，所述装置还包括：

记录清洗任务对应的清洗结果；

基于所述清洗结果重新设置所述标准数据元和清洗规则的对应关系。

11.一种数据清洗的装置，其特征在于，预先设有标准数据元与清洗规则之间的对应关系，所述装置包括：

处理器；

用于存储机器可执行指令的存储器；

其中，通过读取并执行所述存储器存储的与模型的训练逻辑对应的机器可执行指令，所述处理器被促使：

接收清洗任务，所述清洗任务中包括待清洗数据；

获取所述待清洗数据中各字段的属性；

判断所述字段的属性是否匹配所述对应关系中的标准数据元；

若匹配，则获取所述标准数据元对应的清洗规则；

采用所述清洗规则对匹配标准数据元的字段进行清洗。