[发明专利]数据清洗处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据清洗处理方法、装置、计算机设备和存储介质。所述方法包括：获取待处理数据，并检测待处理数据的第一数据类型；获取第一数据类型对应的第一清洗规则，并根据第一清洗规则清洗待处理数据；接收终端发送的数据获取请求，数据获取请求携带有第二数据类型；获取第二数据类型对应的第一处理规则，并从清洗后的待处理数据中获取与数据获取请求对应的第一数据；根据第一处理规则处理第一数据；将经过第一处理规则处理后的第一数据发送至终端。采用本数据清洗处理方法能够提高数据处理效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据清洗处理方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，人们逐渐进入大数据时代，对数据的处理要求日益提高，而在对数据进行处理时需要配置对应的处理规则，从而实现规范化的数据处理。

目前有较成熟规则引擎，如Drools(一个易于访问企业策略、易于调整以及易于管理的开源业务规则引擎)等，其主要解决处理规则的可配置性问题，即可以实现对处理规则的添加、删除和修改等，但当需要对大规模数据进行处理时，需要手动选择相对应的处理规则来进行数据处理，导致处理效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够通过提高数据处理效率的数据清洗处理方法、装置、计算机设备和存储介质。

一种数据清洗处理方法，所述方法包括：

获取待处理数据，并检测所述待处理数据的第一数据类型；

获取所述第一数据类型对应的第一清洗规则，并根据所述第一清洗规则清洗所述待处理数据；

接收终端发送的数据获取请求，所述数据获取请求携带有第二数据类型；

获取所述第二数据类型对应的第一处理规则，并从清洗后的所述待处理数据中获取与所述数据获取请求对应的第一数据；

根据所述第一处理规则处理所述第一数据；

将经过所述第一处理规则处理后的所述第一数据发送至所述终端。

在其中一个实施例中，所述根据所述第一处理规则处理所述第一数据之后，还包括：

获取与所述数据获取请求对应的分割规则，根据所述分割规则对经过处理规则处理后的所述第一数据进行分割得到第二数据；

将所述第二数据按照预设封装协议进行封装得到目标数据；

所述将经过所述第一处理规则处理后的所述第一数据发送至所述终端，包括：

将所述目标数据发送至所述终端。

在其中一个实施例中，所述获取待处理数据之后，还包括：

判断服务器集群中是否存在空闲服务器；

当服务器集群中存在空闲服务器时，则通过所述空闲服务器继续检测所述待处理数据的第一数据类型。

在其中一个实施例中，所述获取待处理数据之后，还包括：

检测所述待处理数据中是否存在预设标记；

当所述待处理数据中存在预设标记时，则输出与所述预设标记对应的错误数据；

接收与所述错误数据对应的纠错指令；

根据所述纠错指令重新获取与所述预设标记对应的数据。

在其中一个实施例中，所述方法还包括：

接收测试指令，根据所述测试指令获取预设目录下的测试数据；