[发明专利]数据表处理方法、装置及设备

权利要求书

1.一种数据表处理方法，其特征在于，所述方法包括：

将指定数据库中目标数据表的目标元数据信息发送给数据清洗设备，以便所述数据清洗设备根据所述目标元数据信息，将所述目标数据表的内容复制到数据仓库中的中间表；所述目标元数据信息包括表字段指定属性；

所述复制完成后，向所述数据清洗设备发送元数据修改指令，以便所述数据清洗设备根据所述元数据修改指令修改所述中间表的元数据信息中的表字段指定属性；

在修改完后，向所述数据清洗设备发送元数据确认指令，以便所述数据清洗设备根据所述元数据确认指令确认所述中间表的元数据信息。

2.根据权利要求1所述的方法，其特征在于，所述数据清洗设备还根据所述目标元数据信息，确定所述目标数据表的目标清洗任务，所述目标清洗任务包括至少一个清洗规则，以及按照所述目标清洗任务中的各清洗规则对所述中间表执行清洗操作，得到目标标准表；

所述方法还包括：

接收所述数据清洗设备发送的所述目标标准表，并将所述目标标准表存储至所述指定数据库。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标元数据信息，确定所述目标数据表的目标清洗任务，包括：

所述数据清洗设备从已建立的表字段与标准数据元的对应关系中，查找出与目标元数据信息中的各字段匹配的目标数据元；

所述数据清洗设备从已建立的标准数据元与清洗规则的对应关系中，查找出与所述目标数据元匹配的第一清洗规则；

所述数据清洗设备根据第一清洗规则，生成所述目标数据表的目标清洗任务。

4.根据权利要求3所述的方法，其特征在于，所述数据清洗设备从已建立的标准数据元与清洗规则的对应关系中，查找出与所述目标数据元匹配的第一清洗规则之后，还包括：

所述数据清洗设备从已建立的表字段与指定属性的对应关系中，查找出与目标元数据信息中的各字段匹配的目标属性；

所述数据清洗设备从已建立的属性与清洗规则的对应关系中，查找出与所述目标属性匹配的第二清洗规则；

所述数据清洗设备所述根据第一清洗规则，生成所述目标数据表的目标清洗任务，包括：所述数据清洗设备根据第一清洗规则和第二清洗规则，生成所述目标数据表的目标清洗任务。

5.根据权利要求2所述的方法，其特征在于，所述数据清洗设备在对所述中间表执行清洗操作的过程中，将所述中间表中的问题数据和所述问题数据对应的问题标识字段写入所述目标标准表中；或者，在对所述中间表执行清洗操作的过程中，将所述中间表中的问题数据写入问题表中；

所述方法还包括：

接收所述数据清洗设备发送的所述问题表，并将所述问题表存储至所述指定数据库。

6.根据权利要求1所述的方法，其特征在于，所述数据清洗设备将所述目标数据表的内容复制到数据仓库中的中间表，包括：

所述数据清洗设备按照目标元数据信息，使用数据仓库工具在本地创建与目标数据表所在的指定数据库同名的中间数据库、在中间数据库中创建与目标数据表具有相同表名和相同表结构的中间表；

所述数据清洗设备读取目标数据表存储的内容数据，将读取的内容数据写入中间表。

7.根据权利要求1所述的方法，其特征在于，元数据信息包括一般元数据信息和表字段指定属性；所述数据清洗设备将所述目标数据表的一般元数据信息和表字段指定属性分别存储，并将所述中间表的一般元数据信息和表字段指定属性分别存储。