[发明专利]实时任务记录的核对方法及装置

说明书

本发明公开一种实时任务记录的核对方法及装置，该方法包括：从离线任务数据库中提取离线任务记录，得到离线任务记录集合；按照与实时任务数据库中的实时任务记录相对应的实时记录生成方式，将离线任务记录集合中的离线任务记录处理为离线任务聚合记录；确定与离线任务聚合记录相对应的记录查询参数，从实时任务数据库中获取与记录查询参数相匹配的实时任务记录；根据离线任务聚合记录，对获取到的实时任务记录核对。由此可见，本发明能避免比对全量数据所导致的存储空间不足的问题，又能避免因对实时任务记录抽样所导致的数据缺失问题。

技术领域

本发明涉及电子信息领域，具体涉及一种实时任务记录的核对方法及装置。

背景技术

目前，为了便于针对任务记录进行维护，通常会根据任务日志分别生成实时任务记录以及离线任务记录。其中，实时任务记录的实时性更好，便于针对实时性较强的业务提供服务；离线任务记录的稳定性更好，便于存档和维护。由于实时任务具有偶然性，因此，实时任务记录可能会因各种原因而出现错误，为了确保业务的正常运行，需要定期针对实时任务记录进行核对，以确保实时任务记录的准确性。

在一种现有技术中，采用以下方式进行核对：首先，将实时任务数据库中存储的实时任务记录全部导出到第一预设存储空间，并将离线任务数据库中存储的离线任务记录全部导出到第二预设存储空间。然后，针对第一预设存储空间以及第二预设存储空间中的记录进行比对，以确认实时任务记录是否正确。该方式需要较多的存储空间，在实时任务数据库和/或离线任务数据库的数据量庞大时，往往因为存储空间受限而无法应用。为了解决存储空间受限的问题，在另一种现有技术中，针对实时任务数据库中存储的实时任务记录进行抽样，根据抽样结果，从离线任务数据库中获取对应的任务记录进行比对。该方式通过抽样能够减少存储空间的占用，但是，抽样过程会损失部分数据，导致针对特定用户或特定行为的任务记录缺失，从而影响结果的准确性。

由此可见，现有技术在确定实时任务数据库中待核对的实时任务记录时，无法兼顾存储空间以及准确性。另外，上述两种方式还至少具有如下局限性：当离线任务数据库中的离线任务记录以及实时任务数据库中的实时任务记录的存储方式不同，且离线任务记录以及实时任务记录之间缺乏能够唯一关联的主键时，无法实现离线任务记录以及实时任务记录之间的比对过程，从而导致上述两种方式的应用场景受限。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种实时任务记录的核对方法及装置。

根据本发明的一个方面，提供了一种实时任务记录的核对方法，包括：

从离线任务数据库中提取预设时段内的离线任务记录，得到离线任务记录集合；

按照与实时任务数据库中的实时任务记录相对应的实时记录生成方式，将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录；

确定与离线任务聚合记录相对应的记录查询参数，从实时任务数据库中获取与记录查询参数相匹配的实时任务记录；

根据离线任务聚合记录，对获取到的与记录查询参数相匹配的实时任务记录进行核对。

可选地，实时记录生成方式根据实时任务记录的主键中包含的各个字段的字段类型确定，则将离线任务记录集合中包含的离线任务记录处理为与实时记录生成方式相匹配的离线任务聚合记录包括：

分别针对实时任务记录的主键中包含的各个字段的字段类型，从离线任务记录集合中筛选与各个字段类型相匹配的离线任务记录；

根据筛选结果得到与实时记录生成方式相匹配的离线任务聚合记录。

可选地，实时任务记录的主键为复合主键，且复合主键中包含的各个字段的字段类型包括：用户类型、时间类型、和/或行为类型；