[发明专利]增量数据获取方法、发送方法、装置及其计算机存储介质

说明书

本申请公开了增量数据获取方法、发送方法、装置及其计算机存储介质，通过数据库更新记录表获取数据库中更新数据的位置信息，从而确定数据库中的第一更新数据及其所在的第一数据表，从所述第一数据表开始遍历所述有向无环图中的目标数据表，获取各个所述目标数据表中与所述第一更新数据关联的第一数据，根据所述第一更新数据和所述第一数据得到第一增量数据，由于数据库每次修改数据的变更信息会记录至数据库更新记录表，而有向无环图中的目标数据表与当前的业务相关，因此通过定位更新数据在数据库中的第一数据表并遍历有向无环图中的目标数据表，能够快速获取该次数据更新对应的与当前业务相关的第一增量数据，提高业务数据的一致性。

技术领域

本发明涉及数据库技术领域，尤其涉及增量数据获取方法、发送方法、装置及其计算机存储介质。

背景技术

增量数据捕获（Change Data Capture，CDC）是指捕获数据源中产生的增量数据，并提供给其他下游业务的过程。CDC是数据集成过程中所要解决的主要问题之一。CDC用于捕获业务数据库中数据插入、删除、更新操作，为联机分析处理（OnLine AnalyticalProcessing，OLAP）数据库、报表数据库、数据仓库、商业智能数据库等企业应用数据库数据的同步提供增量数据捕获服务。

分布式数据库同步系统例如DataBus，可以提供可靠的数据捕获、流转和数据处理功能，其主要应用场景是跨部门之间或者跨机房之间进行数据库的数据订阅。分布式数据库同步系统主要是基于数据库日志例如Binlog进行增量数据捕获。但是由于在分库分表和复杂的业务场景中数据库中的数据会频繁地发生变化，仅通过数据库日志的方式无法区分数据变化的先后顺序，因此难以保持业务数据的最终一致性。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请提供了一种增量数据获取方法、发送方法、装置及其计算机存储介质，能够提高业务数据的最终一致性。

根据本申请的第一方面，提供一种增量数据获取方法，包括：

确定当前业务对应的有向无环图，所述有向无环图为当前业务在数据库中相关的目标数据表通过外键连接形成的层级关系图；

读取数据库更新记录表，获取未被处理的数据更新记录，所述数据更新记录包括所述数据库中数据更新的位置信息；

根据所述数据更新的位置信息确定所述数据库中的第一更新数据以及所述第一更新数据所在的第一数据表；

从所述第一数据表开始遍历所述有向无环图中的目标数据表，获取各个所述目标数据表中与所述第一更新数据关联的第一数据，根据所述第一更新数据和所述第一数据得到第一增量数据。

根据本申请的第二方面，提供一种增量数据发送方法，包括：

依据本申请第一方面所述的增量数据获取方法获取第一增量数据；

将所述第一增量数据发送至下游服务器、下游终端或订阅了第一增量数据消息的互联网数据中心。

根据本申请的第三方面，提供一种增量数据获取装置，包括：

业务确认装置，确定当前业务对应的有向无环图，所述有向无环图为当前业务在数据库中相关的目标数据表通过外键连接形成的层级关系图；

记录表读取装置，读取数据库更新记录表，获取未被处理的数据更新记录，所述数据更新记录包括所述数据库中数据更新的位置信息；

数据表获取装置，根据所述数据更新的位置信息确定所述数据库中的第一更新数据以及所述第一更新数据所在的第一数据表；