[发明专利]数据自清洗方法、装置、电子设备及存储介质

说明书

本发明提供一种数据自清洗方法、装置、电子设备及存储介质，对于待处理的目标数据表和目标数据，能够获取该目标数据表的字段信息，由于字段信息能够表征该目标数据表中的第一字段及其之间的字段次序，因此在对目标数据中的每条数据执行解析操作确定其中的第二字段及其对应的字段值后，能够按照字段次序对第一字段和第二字段执行映射操作，以此确定每条数据于第一字段所对应的字段值。基于本发明，能够自动将非结构化数据的字段与数据表中的字段保持一致顺序，保证数据的准确性，即便后续数据表扩展字段，也能够通过字段信息实时确定扩展的字段，并继续与数据表中的字段保持一致，做到自适应清洗，极大减少人工核对的工作量，提升效率。

技术领域

本发明涉及大数据ETL(Extract-Transform-Load，抽取-转换-加载)数据清洗技术领域，更具体地说，涉及一种数据自清洗方法、装置、电子设备及存储介质。

背景技术

对于大数据hive数仓来说，数据清洗是建立数仓的第一步，其基本的功能就是根据hive数仓中数据表(即hive表)的字段将非结构化数据转为结构化数据，为后续的分析统计提供最原始的数据。而在数据清洗中，如何自动、精确的将非结构化数据的字段加载对应到hive表的字段成为最重要的步骤。

目前，数据清洗大多使用人工指定的UDF(User Defined Function，用户自定义函数)输出字段的方式来解析非结构化数据，这就要求UDF输出字段必须要按数据表的字段顺序与数据表中的字段一一对应，字段一旦错位就会导致整张数据表的数据错误。但大型hive数仓中数据表会有上百张之多、并且每张数据表的字段也可能会有上百个，因此就需要大量人工去核对UDF输出字段，从而带来极大的工作量，并且后续数据表一旦扩展字段，这对于UDF输出字段的修改和数据验证的工作量也是相当大的。

发明内容

有鉴于此，为解决上述问题，本发明提供一种数据自清洗方法、装置、电子设备及存储介质，技术方案如下：

一种数据自清洗方法，所述方法包括：

确定待处理的目标数据表和目标数据，所述目标数据为所述目标数据表对应的非结构化数据、且其中包含至少一条数据；

获取所述目标数据表对应的字段信息，所述字段信息能够表征所述目标数据表中的第一字段、以及所述第一字段间的字段次序；

针对所述目标数据中的每条数据，对该条数据执行解析操作，以确定该条数据中的第二字段、以及所述第二字段对应的字段值；按照所述字段次序对所述第一字段和所述第二字段执行映射操作，以确定该条数据于所述第一字段所对应的字段值。

优选的，所述获取所述目标数据表对应的字段信息，包括：

获取所述目标数据表对应的元数据信息表，所述元数据信息表中至少包含有序的字段元数据信息；

依次读取所述有序的字段元数据信息，以确定当前读取到的字段元数据信息所匹配的字段；

将所确定的字段依次写入至已确定的有序字段列表中，所述有序字段列表用于存储字段、且其中字段的次序与所述元数据信息表中字段元数据信息的次序相同。

优选的，所述方法还包括：

输出所述有序字段列表。

优选的，所述对该条数据执行解析操作，包括：

提取该条数据中的键值对，所述键值对中的键表征字段、所述键值对中的值表征字段值；

建立所述键值对中字段与字段值间的对应关系。

优选的，所述按照所述字段次序对所述第一字段和所述第二字段执行映射操作，包括：

按照所述字段次序在所述第二字段中确定与所述第一字段相匹配的目标字段；