[发明专利]一种数据处理任务的校验方法、装置、设备及存储介质

说明书

本发明公开了一种数据处理任务的校验方法、装置、设备及存储介质，所述方法包括：获取源服务器的源全量数据及在其基础上产生的源增量数据；根据源服务器的源数据处理逻辑，对该源全量数据和该源增量数据执行数据处理任务，获取源结果数据；根据目标服务器中的目标数据处理逻辑，对该源全量数据和该源增量数据执行合并数据处理任务，得到目标结果数据；校验两个结果数据是否一致。本发明中，通过让目标服务器和源服务器的基础数据、变化数据一致，来分别计算数据结果并进行校验，精细了校验方法，减少了数据出现错误的可能，使校验方法适用于更多的场景。

技术领域

本发明涉及计算机信息技术领域，尤其涉及一种数据处理任务的校验方法、装置、设备及存储介质。

背景技术

随着计算机技术的发展以及办公软件得到普及和应用，办公软件的文档数据库是以一定方式储存在一起、能与多个用户共享与应用程序彼此独立的数据集合，通常情况下，用户可以根据自身的业务选择适合的数据库，随着业务的扩展及升级，可能会选择其他的数据库存储数据。例如，许多企业多年使用ORACLE创建报表，现在选择HIVE数据库创建报表，因ORACLE与HIVE两种数据库的存储方式有较大差异，两种数据库对数据的数据处理逻辑不同，且各自同步的底层数据都会因同步时间的差异而不同。

为了避免新数据库中的数据对业务的影响，需要对目标数据库(如HIVE数据库)的数据进行验证，以保证不同数据库的数据一致。现有技术中，验证目标数据库的数据，是直接比对两个数据库产生的结果数据，校验方法粗略，无法满足各场景中更详细的校证需求。

发明内容

本发明提供一种数据处理任务的校验方法、装置、设备及存储介质，以解决现有技术中数据校验方法粗略，无法满足各场景中更详细的数据验证需求的问题。

一种数据处理任务的校验方法，包括：

获取源服务器的第一层的源全量数据及在所述第一层的源全量数据的基础上产生的第一层的源增量数据；

以所述源服务器的第一层源数据处理逻辑对所述第一层的源全量数据和所述第一层的源增量数据执行数据处理任务后，得到第一层的结果数据；

以所述目标服务器的第一层目标数据处理逻辑执行对所述第一层的源全量数据和所述第一层的源增量数据进行合并数据处理任务，得到第一层的目标结果数据；

校验所述第一层的源结果数据和所述第一层的目标结果数据是否一致。

一种数据处理任务的校验装置，包括：

获取模块，用于获取源服务器的第一层的源全量数据及在所述第一层的源全量数据的基础上产生的第一层的源增量数据，以及获取第一层的源结果数据和第一层的目标结果数据，所述第一层的源结果数据为：以所述源服务器的第一层源数据处理逻辑对所述第一层的源全量数据和所述第一层的源增量数据执行数据处理任务后，得到第一层的源结果数据；所述第一层的目标结果数据为：以目标服务器的第一层目标数据处理逻辑执行对所述第一层的源全量数据和所述第一层的增量数据进行合并的数据处理任务，得到第一层的目标结果数据；

执行模块，用于执行所述源服务器的第一层目标数据处理逻辑，并获得所述第一层的源结果数据；用于执行所述目标服务器的第一层目标数据处理逻辑，并获得所述第一层的目标结果数据；

校验模块，用于校验所述第一层的源结果数据和所述第一层的目标结果数据是否一致。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述数据处理任务的校验方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述数据处理任务的校验方法的步骤。