[发明专利]大数据平台数据同步方法、装置、计算机设备及存储介质

说明书

本发明提供一种大数据平台的数据同步方法及其数据同步装置，所述数据同步方法包括：响应于数据同步指令，监控源数据库中的增量数据记录和删除数据记录；根据所述增量数据记录和所述删除数据记录，生成增量数据同步触发指令和数据删除指令；根据所述增量数据同步触发指令，将源数据库中的增量数据同步至目标数据库；根据所述数据删除指令，从所述目标数据库中删除目标数据记录。本发明对大量的增量数据和删除记录信息进行筛选，确定出对最终的同步操作具有意义的目标增量数据和目标删除数据，可以避免对中间增量数据或中间删除数据执行无意义的同步，从而提高数据同步效率。

技术领域

本发明涉及数据库技术领域，尤其涉及一种可实现大数据平台与上游数据表之间的数据保持高度一致性的数据同步方法、装置、计算机设备及存储介质。

背景技术

在一些大数据运用场景中，由于上游数据每天都在变化着，因此使用这些数据的下游系统需要每天刷新这些变化的数据。当数据量小时候，简单粗暴的方式就是每次全量更新数据，但随着业务的增长当数据量呈几何方式增长时(达到亿级别甚至更多)，若每次还进行全量更新数据将非常耗时耗力，并且也是业务方无法忍受的，此时就需要变全量数据同步为增量数据同步。

所谓增量数据同步指的是不再需要将全部上游数据复制到大数据平台中，而仅仅只抽取上游数据中发生增量变化的内容。常用的增量抽取工具包括例如 ETL，可以实现增量数据的同步。然而，上述增量抽取工具在进行数据同步时也存在固有的缺陷，即只能根据创建时间或更新时间同步新增的数据和发生更改的数据，但是当上游数据库系统删除某些数据时，现有的增量同步工具无法获知相关信息，从而导致大数据平台中会存在已删除数据的记录。

另一方面，上游数据中的同一条数据记录有可能针对特定字段发生多次变更，但对于有同步需求的大数据平台而言，只需要保证存储的数据记录与上游数据中的最新数据一致即可，没有必要关注数据的中间变更情况。然而现有技术中往往会将所有的发生增量变化的数据全部进行同步，产生许多不必要的额外操作。例如，上游数据中的其中一条账户金额记录变化情况为：从1000元变更为3000元，从3000元变更为5000元，从5000元变更为2000元，大数据平台在执行数据同步时只需要将该条账户金额纪录由最初的1000元变更为当前的2000元即可，没有必要体现中间3000元、5000元的变更过程。

因此，如何保证大数据平台与上游数据库系统之间进行数据同步时的准确性和高效性，成为本领域技术人员亟待解决的技术问题。

发明内容

本发明的目的是提供一种基于增量数据同步的大数据平台的数据同步方法、装置、计算机设备及存储介质，用于解决现有技术存在的问题。

为实现上述目的，本发明提供一种大数据平台的数据同步方法，包括以下步骤：

响应于数据同步指令，监控所述源数据库中的增量数据记录和删除数据记录；

根据所述增量数据记录和所述删除数据记录，生成增量数据同步触发指令和数据删除指令；

响应于所述增量数据同步触发指令，将源数据库中的增量数据同步至目标数据库；

根据所述数据删除指令，从所述目标数据库中删除目标数据记录。

根据本发明提供的数据同步方法，其中，所述根据所述增量数据记录和所述删除数据记录，生成增量数据同步触发指令和数据删除指令的步骤包括：

提取具有相同关键字段的所有候选增量数据记录和候选删除数据记录；

对所述候选增量数据记录和所述候选删除数据记录按照时间顺序进行排序；

从按照时间顺序进行排序的所述候选增量数据记录和所述候选删除数据记录确定目标增量数据记录和目标删除数据记录；

根据所述目标增量数据记录和所述目标删除数据记录分别生成增量数据同步触发指令和数据删除指令。