[发明专利]一种数据清洗方法及设备

说明书

本申请的目的是提供一种数据清洗方法，本申请首先预置数据清洗规则，其中，该数据清洗规则包括数据类型、字段及其对应的清洗转换规则，以便需要对不同行业或企业对应的不同的原始数据进行数据清洗时，能够直接调用该数据清洗规则对对应的原始数据进行及时有效地清洗；当获取待清洗的原始数据及其所有原始字段后，对所述待清洗的原始数据及其所有原始字段进行预处理，得到待清洗数据及其至少一个有效地清洗字段；基于数据清洗规则对待清洗数据中的、每个清洗字段对应的数据进行清洗，得到清洗后的数据，其中，清洗后的数据包括每个清洗字段的清洗值，实现对不同的原始数据中预处理筛选出来的清洗字段及时、定向及有效地清洗。

技术领域

本申请涉及计算机领域，尤其涉及一种数据清洗方法及设备。

背景技术

数据清洗(Data Cleaning)-对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。

目前，直接对接核心企业的ERP(Enterprise Resource Planning，企业资源计划)系统的取数程序会定时将核心企业授权供应商的交易数据同步至域控制器(DomainController，简写为DC)。

对于不同的核心企业，一方面会使用不同的ERP产品如SAP、OracleEBS、用友、金蝶，另一方面，即便是使用相同的ERP产品，由于不同行业、不同企业的实施方案不同，业务数据中订单、接收、开票、付款的数据的类型、状态等信息会有不同程度的自定义情况。例如，在保理业务中，需要通过对ERP业务数据的某些字段的筛选来界定出其中有效的数据，参与到额度计算。因此，如何将从ERP获取的原始数据进行规范化清洗成为满足用户需求的主要研究课题。

发明内容

本申请的一个目的是提供一种数据清洗方法及设备，以解决现有技术中如何实现对不同行业及业务的原始数据进行针对性的有效清洗问题。

根据本申请的一个方面，提供了一种数据清洗方法，该方法包括：

预置数据清洗规则；

获取待清洗的原始数据及其所有原始字段；

对所述待清洗的原始数据及其所有原始字段进行预处理，得到待清洗数据及其至少一个清洗字段；

基于所述数据清洗规则对所述待清洗数据中的、每个所述清洗字段对应的数据进行清洗，得到清洗后的数据，其中，所述清洗后的数据包括每个所述清洗字段的清洗值。

进一步地，上述数据清洗方法中，所述数据清洗规则包括数据类型、字段及其对应的清洗转换规则。

进一步地，上述数据清洗方法中，所述获取待清洗的原始数据及其所有原始字段，包括：

获取待清洗的原始数据及其类型和所有原始字段；

所述对所述待清洗的原始数据及其所有原始字段进行预处理，得到待清洗数据及其至少一个清洗字段，包括：

基于预置的筛选条件和所述类型，对对应的所述待清洗的原始数据及其中的、与所述原始字段对应的数据进行筛选处理，得到待清洗数据及其类型和至少一个清洗字段。

进一步地，上述数据清洗方法中，所述基于所述数据清洗规则对所述待清洗数据中的、每个所述清洗字段对应的数据进行清洗，得到清洗后的数据，包括：

将所述待清洗数据的类型和每个清洗字段分别与所述清洗规则中的数据类型和字段进行匹配后；

从所述数据清洗规则中查找出与所述待清洗数据的类型和每个所述清洗字段分别对应的所述清洗转换规则；

基于每个所述清洗字段分别对应的所述清洗转换规则，对所述待清洗数据中的、每个所述清洗字段对应的数据进行清洗，得到清洗后的数据。