[发明专利]一种数据检验的方法、装置和系统

权利要求书

1.一种数据检验的方法，其特征在于，包括：

基于离线数据任务构建数据检验任务，所述离线数据任务包括：从源数据库抽取目标数据写入目标数据库中；

确定所述数据检验任务相对于所述离线数据任务的执行顺序；

按照所述执行顺序执行所述数据检验任务；

执行中根据异常判断条件判断所述目标数据是否异常，若检验到异常，则中断所述数据检验任务，生成检验信息，当接收到用户根据所述检验信息提供的数据修改信息后，继续执行所述数据检验任务。

2.如权利要求1所述的方法，其特征在于，所述按照所述执行顺序执行所述数据检验任务，包括：

若所述数据检验任务为执行中任务，则将所述目标数据从所述源数据库中抽取写入到临时数据库中，对所述临时数据库中的所述目标数据执行同步数据检验；

若所述目标数据通过检验，则将所述临时数据库中的所述目标数据同步写入到所述目标数据库中，待从所述源数据库抽取出的所述目标数据全部通过检验并写入到所述目标数据库后删除所述临时数据库，

若所述目标数据未通过检验，则将所述临时数据库删除。

3.如权利要求1所述的方法，其特征在于，所述按照所述执行顺序执行所述数据检验任务，包括：

若所述数据检验任务为前置任务，则在所述目标数据抽取之前在所述源数据库中执行所述数据检验任务；若所述目标数据通过检验，则将其从所述源数据库中抽取出并写入所述目标数据库中。

4.如权利要求1所述的方法，其特征在于，所述按照所述执行顺序执行所述数据检验任务，包括：

若所述数据检验任务为后置任务，则在所述目标数据从所述源数据库抽取写入到所述目标数据库后，在所述目标数据库中执行所述数据检验任务。

5.如权利要求1～4任一项所述的方法，其特征在于，所述基于离线数据任务构建数据检验任务，包括：

获取所述离线数据任务；

判断所述离线数据任务是否有对应的数据检验规则，若有，则为所述离线数据任务配置数据检验规则，并获取资源元数据以及检验参数表；

根据所述数据检验规则、所述资源元数据和所述检验参数表构建所述数据检验任务，所述数据检验规则包括：所述异常判断条件、所述执行顺序。

6.如权利要求5所述的方法，其特征在于，所述判断所述离线数据任务是否有对应的数据检验规则，包括：

读取检验规则表及所述离线数据任务的任务编号，所述检验规则表中包含各所述任务编号对应的所述数据检验规则；

将所述任务编号与所述检验规则表匹配，确定所述离线数据任务对应的数据检验规则。

7.如权利要求5所述的方法，其特征在于，所述检验参数表的生成包括：

获取所述离线数据任务对应的所述源数据库和所述目标数据库包含的表和/或字段；

根据用户对表和/或字段配置的检验参数，生成与所述离线数据任务对应的检验参数表。

8.如权利要求7所述的方法，其特征在于，所述获取离线数据任务对应的所述源数据库和所述目标数据库包含的表和/或字段，包括：自动获取并解析所述离线数据任务的任务脚本，若解析成功，则得到所述源数据库和所述目标数据包含的表和/或字段，若解析失败，则接收用户输入的表和/或字段。

9.一种数据检验的装置，其特征在于，包括：

数据检验任务获取模块，用于基于离线数据任务获取数据检验任务，所述离线数据任务包括：从源数据库抽取目标数据写入目标数据库中；

执行顺序判断模块，用于确定所述数据检验任务相对于所述离线数据任务的执行顺序；

检验模块，用于按照所述执行顺序执行所述数据检验任务，执行中根据异常判断条件判断所述目标数据是否异常，若检验到异常，则中断所述数据检验任务，生成检验信息，待接收到用户根据所述检验信息提供的数据修改信息后，继续执行所述数据检验任务。

10.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行上述权利要求1～8任一项所述的方法。