[发明专利]一种数据清洗方法、装置、设备及存储介质

说明书

本发明实施例公开了一种数据清洗方法、装置、设备及存储介质。其中，数据清洗方法包括：获取待清洗数据，并确定与所述待清洗数据对应的目标数据提取器；对所述待清洗数据进行解析，并通过所述目标数据提取器提取所述待清洗数据包含的目标数据，所述目标数据包含属性名称、属性数据或者标签文本数据中至少一项；对所述目标数据进行解码，并根据客户端上传的各参考数据对解码后的目标数据进行筛选，以对所述待清洗数据进行清洗。本发明实施例的方案，实现了对数据中的冗余数据进行清洗，可以节省存储空间、提升数据传输效率。

技术领域

本发明实施例涉及数据清洗技术领域，尤其涉及一种数据清洗方法、装置、设备及存储介质。

背景技术

随着互联网的不断发展，各种数据呈现爆炸式的增长；与此同时，不符合规范的冗余数据也不断地递增，尤其是互联网中的post数据，在post数据中，包含了大量的冗余结构化信息，数据的总体价值无法得到有效体现。

现阶段，针对post数据，通常直接对post数据进行转发，或者对post数据进行分词存储，这样不但消耗了大量的存储空间，并且在数据传输过程中还需要对post数据中的冗余数据进行转发。

因此，研究一种对post数据中的冗余数据进行清洗，以节省存储空间、提升数据传输效率的方案是十分有必要的。

发明内容

本发明实施例提供一种数据清洗方法、装置、设备及存储介质，以实现对数据中的冗余数据进行清洗，节省存储空间、提升数据传输效率。

第一方面，本发明实施例提供了一种数据清洗方法，包括：

获取待清洗数据，并确定与所述待清洗数据对应的目标数据提取器；

对所述待清洗数据进行解析，并通过所述目标数据提取器提取所述待清洗数据包含的目标数据，所述目标数据包含属性名称、属性数据或者标签文本数据中至少一项；

对所述目标数据进行解码，并根据客户端上传的各参考数据对解码后的目标数据进行筛选，以对所述待清洗数据进行清洗。

第二方面，本发明实施例还提供了一种数据清洗装置，包括：

数据提取器确定模块，用于获取待清洗数据，并确定与所述待清洗数据对应的目标数据提取器；

目标数据提取模块，用于对所述待清洗数据进行解析，并通过所述目标数据提取器提取所述待清洗数据包含的目标数据，所述目标数据包含属性名称、属性数据或者标签文本数据中至少一项；

目标数据筛选模块，用于对所述目标数据进行解码，并根据客户端上传的各参考数据对解码后的目标数据进行筛选，以对所述待清洗数据进行清洗。

第三方面，本发明实施例还提供了一种数据清洗设备，所述数据清洗设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一实施例所述的数据清洗方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一实施例所述的数据清洗方法。

本发明实施例的方案，通过获取待清洗数据，并确定与所述待清洗数据对应的目标数据提取器；对所述待清洗数据进行解析，并通过所述目标数据提取器提取所述待清洗数据包含的目标数据，所述目标数据包含属性名称、属性数据或者标签文本数据中至少一项；对所述目标数据进行解码，并根据客户端上传的各参考数据对解码后的目标数据进行筛选，以对所述待清洗数据进行清洗，实现了对数据中的冗余数据进行清洗，可以节省存储空间、提升数据传输效率。

附图说明