[发明专利]一种数据清洗方法、装置及系统

说明书

本申请实施例提供了一种数据清洗方法、装置及系统，该方法包括：获取待清洗字段；基于规则类别划分算法，分别计算待清洗字段与预先建立的清洗规则类别库中所有数据字段集合的数据字段的相似度，得到最大相似度；判断最大相似度是否大于预设阈值；若是，将待清洗字段添加至最大相似度对应的数据字段所属的数据字段集合中。利用该方案对同类源系统或同类数据项进行分类，不同类别使用不同的清洗规则，并不断积累及修正完善清洗规则，能够实现自动化划分清洗规则，有效减少人工干预，提高了数据清洗的效率和准确性。

技术领域

本申请涉及数据处理领域，尤其涉及一种数据清洗方法、装置及系统。

背景技术

数据清洗是大数据时代的必要流程，从各个源系统汇集的数据需要统一清洗转换，不同的源系统每项数据都有特定的含义。目前，对于源系统数据，直接使用统一的清洗规则进行数据清洗或者人工指定每项数据的清洗规则。直接使用统一的清洗规则进行数据清洗，使得数据清洗的准确性得不到保证，影响后续数据的使用；清洗规则由人工指定，对工作人员的要求较高，大大降低了数据清洗的效率。

发明内容

有鉴于此，本申请的目的在于提供了一种数据清洗方法、装置及系统，对同类源系统或同类数据项进行分类，不同类别使用不同的清洗规则，并不断积累及修正完善清洗规则，以实现自动化划分清洗规则，有效减少人工干预，提高了数据清洗的效率和准确性，其具体技术方案如下：

第一方面，本申请提供了一种数据清洗方法，所述方法包括：

获取待清洗字段；

基于规则类别划分算法，分别计算所述待清洗字段与预先建立的清洗规则类别库中所有数据字段集合的数据字段的相似度，得到最大相似度；

判断所述最大相似度是否大于预设阈值；

若是，将所述待清洗字段添加至所述最大相似度对应的数据字段所属的数据字段集合中。

在一种可能的实现方式中，所述清洗规则类别库包括清洗规则及其对应的数据字段集合，所述数据字段集合包括数据字段的字段类型、字段中文名、字段英文名、字段注释。

在一种可能的实现方式中，所述待清洗字段的属性信息包括字段注释，所述规则类别划分算法包括中文机械分词算法，所述方法还包括：

利用所述中文机械分词算法对所述待清洗字段的字段注释进行分词。

在一种可能的实现方式中，所述基于规则类别划分算法，分别计算所述待清洗字段与预先建立的清洗规则类别库中所有数据字段集合的数据字段的相似度，得到最大相似度，包括：

分别计算所述待清洗字段的字段类型与所述清洗规则类别库中所有数据字段的字段类型的相似度，得到n个字段类型相似度，n为正整数；

分别计算所述待清洗字段的字段英文名与所述清洗规则类别库中所有数据字段的字段英文名的相似度，得到n个字段英文名相似度；

分别计算所述待清洗字段的字段中文名与所述清洗规则类别库中所有数据字段的字段中文名的相似度，得到n个字段中文名相似度；

分别计算所述待清洗字段的字段注释与所述清洗规则类别库中所有数据字段的字段注释的相似度，得到n个字段注释相似度；

基于所述n个字段类型相似度、所述n个字段英文名相似度、所述n个字段中文名相似度和所述n个字段注释相似度，生成二维数组；

按照预设的字段类型、字段英文名、字段中文名和字段注释对应的权重系数，基于所述二维数组，分别计算所述待清洗字段与所述清洗规则类别库中所有数据字段的相似度；

获取所述待清洗字段与所述清洗规则类别库中所有数据字段的相似度中的最大值，作为最大相似度。

在一种可能的实现方式中，所述方法还包括：