[发明专利]一种数据检验方法、装置及设备

说明书

本说明书实施例中公开了一种数据检验方法、装置及设备。该方案可以包括：在流计算任务执行完成后，获取该流计算任务在第一时间段中处理完成的第一数据流中的第一数据；获取该流计算任务在第二时间段中处理完成的第二数据流中的第二数据，其中，第二时间段包含第一时间段；再针对第一数据和第二数据进行数据匹配处理，以得到用于反映第二数据流中是否包含与第一数据流中的第一数据相匹配的第二数据的数据检验结果。

技术领域

本申请涉及数据检验技术领域，尤其涉及一种数据检验方法、装置及设备。

背景技术

随着科技的进步，流数据逐渐出现在生活中的各个领域。为保障业务的正常运行，对业务运行过程中生成的数据流中的流数据进行数据检验是很有必要的。目前，通常会针对流计算任务实时获取到的多个数据流中的流数据，进行实时的数据存在性检验，以根据数据检验结果识别这些数据流是否存在数据缺失问题。但是，由于流计算任务在执行过程中往往存在数据乱序以及延时问题，从而当流计算任务针对部分数据流中的流数据的获取时刻存在乱序及延时情况时，可能会影响数据检验结果的准确性。

基于此，如何保障针对数据流进行数据存在性检验得到的数据检验结果的准确性，成为了亟待解决的技术问题。

发明内容

本说明书实施例提供的一种数据检验方法、装置及设备，可以保障针对数据流进行数据存在性检验得到的数据检验结果的准确性。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种数据检验方法，包括：

获取第一数据集合以及第二数据集合；所述第一数据集合中包含流计算任务在第一时间段内处理完成的第一数据流中的第一数据，所述第二数据集合中包含所述流计算任务在第二时间段内处理完成的第二数据流中的第二数据，所述第二时间段包含所述第一时间段；所述第一数据流与所述第二数据流之间具有业务关联关系。

针对所述第一数据集合以及所述第二数据集合进行数据匹配处理，得到针对所述第一数据流与所述第二数据流的数据检验结果；所述数据检验结果用于反映所述第二数据流中是否包含与所述第一数据流中的所述第一数据相匹配的第二数据。

本说明书实施例提供的一种数据检验方法装置，包括：

获取模块，用于获取第一数据集合以及第二数据集合；所述第一数据集合中包含流计算任务在第一时间段内处理完成的第一数据流中的第一数据，所述第二数据集合中包含所述流计算任务在第二时间段内处理完成的第二数据流中的第二数据，所述第二时间段包含所述第一时间段；所述第一数据流与所述第二数据流之间具有业务关联关系。

匹配模块，用于针对所述第一数据集合以及所述第二数据集合进行数据匹配处理，得到针对所述第一数据流与所述第二数据流的数据检验结果；所述数据检验结果用于反映所述第二数据流中是否包含与所述第一数据流中的所述第一数据相匹配的第二数据。

本说明书实施例提供的一种数据检验设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取第一数据集合以及第二数据集合；所述第一数据集合中包含流计算任务在第一时间段内处理完成的第一数据流中的第一数据，所述第二数据集合中包含所述流计算任务在第二时间段内处理完成的第二数据流中的第二数据，所述第二时间段包含所述第一时间段；所述第一数据流与所述第二数据流之间具有业务关联关系。