[发明专利]一种大数据清洗方法、装置、计算机设备及存储介质

权利要求书

1.一种大数据清洗方法，其特征在于，包括：

创建预设数量的清洗规则，并配置业务数据类型与所述清洗规则之间的映射关系，生成清洗规则匹配表；

构建分布式集群，其中，所述分布式集群包含若干个子服务器，各个所述子服务器分别对应处理一种业务类型数据；

将所述清洗规则匹配表上传至所述分布式集群，并根据所述业务数据类型将所述清洗规则分配给对应的子服务器；

接收原始数据，并确定所述原始数据对应的目标业务数据类型；

在所述分布式集群中查找与所述目标业务数据类型对应的目标子服务器，并利用所述目标子服务器对所述原始数据进行数据清洗，得到清洗数据。

2.如权利要求1所述的数据清洗方法，其特征在于，所述接收原始数据，并确定所述原始数据对应的目标业务数据类型的步骤，具体包括：

接收原始数据，将所述原始数据导入所述分布式集群，并确定所述原始数据中的待清洗字段；

提取所述待清洗字段的关键词，并基于所述关键词确定所述原始数据对应的目标数据类型。

3.如权利要求2所述的数据清洗方法，其特征在于，所述接收原始数据，将所述原始数据导入所述分布式集群，并确定所述原始数据中的待清洗字段的步骤，具体包括：

获取所述原始数据对应的需求文档，其中，所述需求文档中记录了数据清洗的具体要求；

识别所述原始数据的数据结构，得到所述原始数据的结构信息；

基于所述结构信息对原始数据进行分割，得到若干个数据字段；

对每一个所述数据字段进行语义识别，并基于语义识别和所述需求文档得到所述原始数据中的待清洗字段。

4.如权利要求2所述的数据清洗方法，其特征在于，所述提取所述待清洗字段的关键词，并基于所述关键词确定所述原始数据对应的目标数据类型的步骤，具体包括：

对所述待清洗字段进行关键词识别，获取所有待清洗字段的关键词；

整合提取到的关键词，生成所述原始数据的关键词组合；

将所述关键词组合表示的类型确定所述原始数据对应的目标业务数据类型。

5.如权利要求4所述的数据清洗方法，其特征在于，所述整合提取到的关键词，生成所述原始数据的关键词组合的步骤，具体包括：

基于预设的TF-IDF算法计算每一个所述关键词的权重；

对所有关键词的权重进行排序，得到关键词权重序列；

基于所述关键词权重序列组合所述关键词，生成所述原始数据的关键词组合。

6.如权利要求1至5任意一项所述的数据清洗方法，其特征在于，所述在所述分布式集群中查找与所述目标业务数据类型对应的目标子服务器，并利用所述目标子服务器对所述原始数据进行数据清洗，得到清洗数据的步骤，具体包括：

获取每一个子服务器对应的业务数据标签；

在所述分布式集群中，将所述目标业务数据类型与每一个子服务器对应的业务数据标签一一进行比对；

根据比对结果确定所述原始数据对应的目标子服务器，并通过所述目标子服务器对所述原始数据进行数据清洗，得到清洗数据。

7.如权利要求6所述的数据清洗方法，其特征在于，所述通过所述目标子服务器对所述原始数据进行数据清洗，得到清洗数据的步骤，具体包括：

对所述原始数据进行格式化处理，得到格式化数据；

检测所述格式化数据中的重复数据，并对所述重复数据进行清洗，得到去重数据；

检测所述去重数据中的错误数据，并对所述错误数据进行清洗，得到清洗数据。