[发明专利]全量数据同步方法、装置、设备和介质

权利要求书

1.一种全量数据同步方法，其特征在于，包括：

获取导入数据仓库中的源数据库在当前同步时间段内的增量日志数据；

在所述数据仓库中，根据所述增量日志数据以及与相邻前一同步时间段对应的全量数据生成与所述当前同步时间段对应的待定全量数据；

对所述待定全量数据进行筛选，确定并存储与所述当前同步时间段对应的目标全量数据。

2.根据权利要求1所述的方法，其特征在于，所述数据仓库为HIVE数据仓库；所述增量日志数据为ROW格式的binlog日志。

3.根据权利要求2所述的方法，其特征在于，根据所述增量日志数据以及与相邻前一同步时间段对应的全量数据生成与所述当前同步时间段对应的待定全量数据，包括：

根据与相邻前一同步时间段对应的全量数据确定初始数据行记录；

根据所述增量日志数据确定增量数据行记录；

在所述初始数据行记录的基础上合并所述增量数据行记录，得到所述待定全量数据。

4.根据权利要求3所述的方法，其特征在于，对所述待定全量数据进行筛选，确定并存储与所述当前同步时间段对应的目标全量数据，包括：

将所述待定全量数据中的数据行记录按照主键值和操作时间值排序；

根据排序结果以及数据行记录的操作类型对所述待定全量数据进行筛选，确定并存储与所述当前同步时间段对应的目标全量数据。

5.根据权利要求4所述的方法，其特征在于，根据所述增量日志数据确定增量数据行记录，包括：

针对所述增量日志数据中操作类型为插入或删除的第一类日志数据，将与所述第一类日志数据对应的数据行记录作为增量数据行记录；

针对所述增量日志数据中操作类型为更新且未变更主键值的第二类日志数据，将与所述第二类日志数据对应的更新后数据行记录作为增量数据行记录；

针对所述增量日志数据中操作类型为更新且变更主键值的第三类日志数据，则将与所述第三类日志数据对应的操作类型为删除的更新前数据行记录，以及与所述第三类日志数据对应的操作类型为插入的更新后数据行记录作为增量数据行记录。

6.根据权利要求5所述的方法，其特征在于，在获取源数据库在当前同步时间段内的增量日志数据之前，还包括：

以操作类型为插入的方式存储与相邻前一同步时间段对应的全量数据；

其中，所述初始数据行记录的操作时间值早于所述增量数据行记录的操作时间值。

7.根据权利要求6所述方法，其特征在于，根据排序结果以及数据行记录的操作类型对所述待定全量数据进行筛选，确定并存储与所述当前同步时间段对应的目标全量数据，包括：

根据排序结果确定出与各主键值分别对应的最新数据行记录；

在所述最新数据行记录中筛选出操作类型为插入或更新的数据行记录，作为与所述当前同步时间段对应的目标全量数据，并存储所述目标全量数据。

8.一种全量数据同步装置，其特征在于，包括：

日志获取模块，用于获取导入数据仓库中的源数据库在当前同步时间段内的增量日志数据；

数据合并模块，用于在所述数据仓库中，根据所述增量日志数据以及与相邻前一同步时间段对应的全量数据生成与所述当前同步时间段对应的待定全量数据；

数据筛选存储模块，用于对所述待定全量数据进行筛选，确定并存储与所述当前同步时间段对应的目标全量数据。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。