[发明专利]一种数据归集方法、装置及系统

说明书

本申请公开了一种数据归集方法、装置及系统，通过获取历史待归集数据的数据归集状态；依据历史待归集数据的数据归集状态，从源数据库中确定未成功归集的历史待归集数据；依据未成功归集的历史待归集数据，确定当前待归集数据；将当前待归集数据向目标数据库进行归集。在每次进行数据归集之前，都会获取历史待归集数据的数据归集状态；从而依据历史待归集数据的数据归集状态，从源数据库中确定未成功归集的历史待归集数据，进而在进行数据归集的时候，将未成功归集的历史待归集数据再次向目标数据库进行归集，确保源数据库中的待归集数据都能成功归集到目标数据库中，保证了源数据库中的数据与目标数据库中的数据的一致性。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据归集方法、装置及系统。

背景技术

现有的普遍系统架构，由于业务交易渠道的多样性，会产生大量的业务数据，并且这些业务数据会分散在不同的源数据库中，这些源数据库可能会存在于同一个数据库服务器上，也可能会分布在不同的数据库服务器上。为了方便查询、统计或者分析这些数据，需要将分散在不同源数据库中的数据归集到某一个固定的目标数据库中。

现有技术在将分散在不同源数据库中的数据归集到某一个固定的目标数据库的过程中，经常会由于网络延迟或者服务器软/硬故障或数据量过大，处理器负载过重，无法一次性归集所有数据等原因，造成部分数据未成功归集，导致源数据库中的数据与目标数据库中的数据不一致。

发明内容

有鉴于此，本发明实施例提供一种数据归集方法、装置及系统，能够解决现有技术中源数据库中的数据与目标数据库中的数据不一致的问题。

一种数据归集方法，包括：

获取历史待归集数据的数据归集状态；

依据所述历史待归集数据的数据归集状态，从源数据库中确定未成功归集的历史待归集数据；

依据所述未成功归集的历史待归集数据，确定当前待归集数据；

将所述当前待归集数据向目标数据库进行归集。

优选的，所述获取历史待归集数据的数据归集状态包括：

从在目标数据库中存储的数据归集状态表中，查询历史待归集数据的数据归集状态。

优选的，所述依据所述历史待归集数据的数据归集状态，从源数据库中确定未成功归集的历史待归集数据的过程包括：

依据查询到的历史待归集数据的数据归集状态，从所述数据归集状态表中，确定数据归集状态为未成功归集的历史待归集数据的存储位置；

从未成功归集的历史待归集数据的存储位置处，提取未成功归集的历史待归集数据。

优选的，将所述当前待归集数据向目标数据库进行归集的过程包括：

按照预设归集周期，将当前待归集数据向目标数据库进行归集；

或者；按照所述源数据库的存储位置，将当前待归集数据向目标数据库进行归集。

优选的，将所述当前待归集数据向目标数据库进行归集之后，还包括：

在检测到当前待归集数据向目标数据库归集完毕后，获取所述当前待归集数据的数据归集状态；

依据所述当前待归集数据的数据归集状态，对所述数据归集状态表中的数据归集状态进行更新。

一种数据归集装置，包括：

第一数据归集状态获取模块，用于获取历史待归集数据的数据归集状态；

历史待归集数据确定模块，用于依据所述历史待归集数据的数据归集状态，从源数据库中确定未成功归集的历史待归集数据；