[发明专利]一种数据检验方法、装置及设备

权利要求书

1.一种数据检验方法，包括：

获取第一数据集合以及第二数据集合；所述第一数据集合中包含流计算任务在第一时间段内处理完成的第一数据流中的第一数据，所述第二数据集合中包含所述流计算任务在第二时间段内处理完成的第二数据流中的第二数据，所述第二时间段包含所述第一时间段；所述第一数据流与所述第二数据流之间具有业务关联关系；

针对所述第一数据集合以及所述第二数据集合进行数据匹配处理，得到针对所述第一数据流与所述第二数据流的数据检验结果；所述数据检验结果用于反映所述第二数据流中是否包含与所述第一数据流中的所述第一数据相匹配的第二数据。

2.如权利要求1所述的方法，所述获取第一数据集合以及第二数据集合之前，还包括：

在所述流计算任务针对所述第一数据流中的第一数据处理完成后，关联存储所述第一数据以及所述流计算任务对于所述第一数据的第一处理时间信息至第一预设存储空间；

在所述流计算任务针对所述第二数据流中的第二数据处理完成后，关联存储所述第二数据以及所述流计算任务对于所述第二数据的第二处理时间信息至第二预设存储空间；

所述获取第一数据集合以及第二数据集合，具体包括：

从所述第一预设存储空间处获取第一数据集合；所述第一数据集合中包含的所述第一数据对应的所述第一处理时间信息位于所述第一时间段；

从所述第二预设存储空间处获取第二数据集合；所述第二数据集合中包含的所述第二数据对应的所述第二处理时间信息位于所述第二时间段。

3.如权利要求2所述的方法，所述从所述第一预设存储空间处获取第一数据集合，具体包括：

从所述第一预设存储空间处，获取第一预设滑动时间窗口内的所述第一数据，得到第一数据集合；

所述从所述第二预设存储空间处获取第二数据集合，具体包括：

从所述第二预设存储空间处，获取第二预设滑动时间窗口内的所述第二数据，得到第二数据集合；所述第二预设滑动时间窗口的长度大于等于所述第一预设滑动时间窗口的长度，且所述第二预设滑动时间窗口的起始时间早于或等于所述第一预设滑动时间窗口的起始时间，所述第二预设滑动时间窗口的终止时间晚于或等于所述第一预设滑动时间窗口的终止时间。

4.如权利要求2所述的方法，所述关联存储所述第一数据以及所述流计算任务对于所述第一数据的第一处理时间信息至第一预设存储空间之前，还包括：

判断所述第一数据是否属于需要进行数据检验的数据，得到第一判断结果；

所述关联存储所述第一数据以及所述流计算任务对于所述第一数据的第一处理时间信息至第一预设存储空间，具体包括：

若所述第一判断结果表示所述第一数据属于需要进行数据检验的数据，则关联存储所述第一数据以及所述流计算任务对于所述第一数据的第一处理时间信息至第一预设存储空间；

所述关联存储所述第二数据以及所述流计算任务对于所述第二数据的第二处理时间信息至第二预设存储空间之前，还包括：

判断所述第二数据是否属于需要进行数据检验的数据，得到第二判断结果；

所述关联存储所述第二数据以及所述流计算任务对于所述第二数据的第二处理时间信息至第二预设存储空间，具体包括：

若所述第二判断结果表示所述第二数据属于需要进行数据检验的数据，则关联存储所述第二数据以及所述流计算任务对于所述第二数据的第二处理时间信息至第二预设存储空间。

5.如权利要求2-4中任意一项所述的方法，所述第一预设存储空间为数据库处的存储空间或者缓存处的存储空间；

所述第二预设存储空间为数据库处的存储空间或者缓存处的存储空间。

6.如权利要求1所述的方法，所述针对所述第一数据集合以及所述第二数据集合进行数据匹配处理，得到针对所述第一数据流与所述第二数据流的数据检验结果，具体包括：

获取所述第一数据集合中各个所述第一数据包含的预设字段的第一字段值；

根据各个所述第一数据包含的预设字段的第一字段值，判断所述第二数据流中是否包含与各个所述第一数据相匹配的目标第二数据，得到针对所述第一数据流与所述第二数据流的数据检验结果；所述目标第二数据为包含的所述预设字段的字段值为任意一个所述第一字段值的第二数据。