[发明专利]全量数据同步方法、装置、设备和介质

说明书

本发明实施例公开了一种全量数据同步方法、装置、设备和介质。该方法包括：获取导入数据仓库中的源数据库在当前同步时间段内的增量日志数据；在所述数据仓库中，根据所述增量日志数据以及与相邻前一同步时间段对应的全量数据生成与所述当前同步时间段对应的待定全量数据；对所述待定全量数据进行筛选，确定并存储与所述当前同步时间段对应的目标全量数据。上述技术方案基于源数据库的日志数据在数据仓库中完成源数据库全量数据的同步，不会影响源数据库中数据表的读写操作，提高了数据全量同步的效率，而且全量数据同步的频率也可以提高。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种全量数据同步方法、装置、设备和介质。

背景技术

随着互联网和大数据技术的推广和普及，数据仓库逐步成为主流。由于数据仓库具有较大的存储量，且可处理结构化数据，可将数据库中的数据同步至数据仓库中进行处理。

在将数据库中数据同步到数据仓库的应用场景中，通常是将数据表的数据全量同步到数据仓库中。如果数据表的数据量较大，全量数据同步的耗时会很长，而且还会影响数据表的读写，全量数据同步的周期也不能过于频繁。

发明内容

本发明实施例提供一种全量数据同步方法、装置、设备和介质，以解决现有技术中将数据库中数据全量同步到数据仓库时影响数据表读写的问题，同时提高全量数据同步的效率。

第一方面，本发明实施例提供了一种全量数据同步方法，包括：

获取导入数据仓库中的源数据库在当前同步时间段内的增量日志数据；

在所述数据仓库中，根据所述增量日志数据以及与相邻前一同步时间段对应的全量数据生成与所述当前同步时间段对应的待定全量数据；

对所述待定全量数据进行筛选，确定并存储与所述当前同步时间段对应的目标全量数据。

第二方面，本发明实施例还提供了一种全量数据同步装置，包括：

日志获取模块，用于获取导入数据仓库中的源数据库在当前同步时间段内的增量日志数据；

数据合并模块，用于在所述数据仓库中，根据所述增量日志数据以及与相邻前一同步时间段对应的全量数据生成与所述当前同步时间段对应的待定全量数据；

数据筛选存储模块，用于对所述待定全量数据进行筛选，确定并存储与所述当前同步时间段对应的目标全量数据。

第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任意实施例所述的全量数据同步方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任意实施例所述的全量数据同步方法。

本发明实施例提供的技术方案，首先将待全量数据同步的源数据库在当前同步时间段内的增量日志数据导入数据仓库中，然后在数据仓库中根据所述增量日志数据以及与相邻前一同步时间段对应的全量数据生成与当前同步时间段对应的待定全量数据，对所述待定全量数据进行筛选即可得到与所述当前同步时间段对应的目标全量数据，存储所述目标全量数据实现由源数据库至数据仓库的全量数据同步。上述技术方案基于源数据库的日志数据在数据仓库中完成源数据库全量数据的同步，不会影响源数据库中数据表的读写操作，提高了数据全量同步的效率，而且全量数据同步的频率也可以提高，支持每若干小时进行一次全量数据同步。

附图说明

图1是本发明实施例一提供的一种全量数据同步方法的流程图；