[发明专利]一种数据清洗方法、装置、设备及存储介质

权利要求书

1.一种数据清洗方法，其特征在于，包括：

获取待清洗数据，并确定与所述待清洗数据对应的目标数据提取器；

对所述待清洗数据进行解析，并通过所述目标数据提取器提取所述待清洗数据包含的目标数据，所述目标数据包含属性名称、属性数据或者标签文本数据中至少一项；

对所述目标数据进行解码，并根据客户端上传的各参考数据对解码后的目标数据进行筛选，以对所述待清洗数据进行清洗。

2.根据权利要求1所述的方法，其特征在于，所述确定与所述待清洗数据对应的目标数据提取器，包括：

识别所述待清洗数据包含的数据格式类型，并根据所述数据格式类型确定目标数据提取器；

其中，所述数据格式类型包括键值对、可扩展标记语言xml、或者JS对象简谱JSON；

所述目标数据提取器包括：键值对提取器、xml提取器或者JSON提取器。

3.根据权利要求2所述的方法，其特征在于，所述通过所述目标数据提取器提取所述待清洗数据包含的目标数据，包括：

通过所述目标数据提取器提取所述待清洗数据中包含的键值对、xml数据或者JSON信息；

所述通过所述目标数据提取器提取所述待清洗数据中包含的键值对、xml数据或者JSON信息，包括：

通过所述键值对提取器提取所述待清洗数据中包含的键值对；

或者，通过所述xml提取器提取所述待清洗数据中包含的xml数据；

或者，通过所述JSON提取器提取所述待清洗数据中包含的JSON信息。

4.根据权利要求1所述的方法，其特征在于，所述对所述目标数据进行解码，包括：

根据解析到的与所述目标数据对应的编码模式选取目标解码器，对所述目标数据进行解码；

所述编码模式包括：base64编码模式、decoder编码模式或者加密编码模式。

5.根据权利要求4所述的方法，其特征在于，所述对所述目标数据进行解码，还包括：

如果所述编码模式为加密编码模式，则获取与所述加密编码模式对应的加密秘钥，并根据所述加密秘钥对所述目标数据进行解码。

6.根据权利要求1所述的方法，其特征在于，所述根据客户端上传的各参考数据对解码后的目标数据进行筛选，以对所述待清洗数据进行清洗，包括：

将所述解码后的目标数据，与所述客户端上传的数据模型输出的各参考数据进行比对；

如果所述目标数据中的第一数据与各所述参考数据相匹配，则保留所述第一数据；

如果所述目标数据中的第二数据与各所述参考数据均不匹配，则滤除所述第二数据。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述待清洗数据为post数据。

8.一种数据清洗装置，其特征在于，包括：

数据提取器确定模块，用于获取待清洗数据，并确定与所述待清洗数据对应的目标数据提取器；

目标数据提取模块，用于对所述待清洗数据进行解析，并通过所述目标数据提取器提取所述待清洗数据包含的目标数据，所述目标数据包含属性名称、属性数据或者标签文本数据中至少一项；

目标数据筛选模块，用于对所述目标数据进行解码，并根据客户端上传的各参考数据对解码后的目标数据进行筛选，以对所述待清洗数据进行清洗。

9.一种数据清洗设备，其特征在于，所述数据清洗设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据清洗方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的数据清洗方法。