[发明专利]数据表处理方法、装置及设备

说明书

本发明实施例提供一种数据表处理方法、装置及设备。本发明实施例通过通过将指定数据库中目标数据表的目标元数据信息发送给数据清洗设备，以便所述数据清洗设备根据所述目标元数据信息，将所述目标数据表的内容复制到数据仓库中的中间表，所述复制完成后，向所述数据清洗设备发送元数据修改指令，以便所述数据清洗设备根据所述元数据修改指令修改所述中间表的元数据信息中的表字段指定属性在修改完后，向所述数据清洗设备发送元数据确认指令，以便所述数据清洗设备根据所述元数据确认指令确认所述中间表的元数据信息，能够在数据仓库中修改中间表的主键列，以满足同一数据表在不同业务场景中的需求。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据表处理方法、装置及设备。

背景技术

目前，大数据已经得到广泛的重视。通过对大数据的分析，可以获得很多有价值的信息。然而，受到数据记录和管理过程中的各种影响，大数据中的各种数据不可避免地存在各种质量问题，例如数据丢失、数据重复、数据不符合标准、数据不完整、数据过期等等。大数据的价值与数据质量之间呈现正相关的关系，因此，为了从大数据中挖掘出价值高的信息，需要对大数据进行必要的处理，以提高大数据的数据质量。

数据清洗是提高大数据的数据质量的方法之一。相关技术中，数据清洗的过程是：对于原始数据库中的每一张数据表，通过人工方式手动配置该数据表的清洗任务，将清洗任务通过结构化查询语言(Structured Query Language，SQL)语句写入原始数据表对应的人工编写的SQL脚本中，再针对每张表分别运行对应SQL脚本，以生成标准表并存储在原始数据库中。这种技术中，数据清洗过程需要人工手动配置每张数据表的清洗任务，耗时长，因此效率低。

发明内容

为克服相关技术中存在的问题，本发明提供了一种数据表处理方法、装置及设备。

根据本发明实施例的第一方面，提供一种数据表处理方法，所述方法包括：

将指定数据库中目标数据表的目标元数据信息发送给数据清洗设备，以便所述数据清洗设备根据所述目标元数据信息，将所述目标数据表的内容复制到数据仓库中的中间表；所述目标元数据信息包括表字段指定属性；

所述复制完成后，向所述数据清洗设备发送元数据修改指令，以便所述数据清洗设备根据所述元数据修改指令修改所述中间表的元数据信息中的表字段指定属性；

在修改完后，向所述数据清洗设备发送元数据确认指令，以便所述数据清洗设备根据所述元数据确认指令确认所述中间表的元数据信息。

根据本发明实施例的第二方面，提供一种数据表处理装置，所述装置包括：

元数据信息发送模块，用于将指定数据库中目标数据表的目标元数据信息发送给数据清洗设备，以便所述数据清洗设备根据所述目标元数据信息，将所述目标数据表的内容复制到数据仓库中的中间表；所述目标元数据信息包括表字段指定属性；

元数据修改模块，用于所述复制完成后，向所述数据清洗设备发送元数据修改指令，以便所述数据清洗设备根据所述元数据修改指令修改所述中间表的元数据信息中的表字段指定属性；

元数据确认模块，用于在修改完后，向所述数据清洗设备发送元数据确认指令，以便所述数据清洗设备根据所述元数据确认指令确认所述中间表的元数据信息。

根据本发明实施例的第三方面，提供一种数据表处理设备，包括处理器以及用于存储所述处理器的可执行指令的存储器；

所述处理器被配置为：

将指定数据库中目标数据表的目标元数据信息发送给数据清洗设备，以便所述数据清洗设备根据所述目标元数据信息，将所述目标数据表的内容复制到数据仓库中的中间表；所述目标元数据信息包括表字段指定属性；