[发明专利]用于从分布式数据源中捕获变更数据以供异构目标使用的系统和方法

说明书

根据实施例，本文描述的是用于从分布式数据源系统(例如分布式数据库或分布式数据流)捕获变更数据以及准备规范格式输出，以供一个或多个异构目标(例如数据库或消息队列)使用的系统和方法。变更数据捕获系统能够包括对诸如分布式源拓扑感知、初始加载、重复数据删除和恢复之类的特征的支持。本文描述的系统和方法的技术目的包括确定和向一个或多个目标计算机系统传送对分布式数据源处的数据执行的变更，该分布式数据源包括跨多个节点的大量数据。

版权声明

本专利文档的公开内容的一部分包含受版权保护的素材。版权拥有者不反对任何人对专利文档或专利公开内容按照在专利商标局的专利文件或记录中出现的那样进行传真复制，但是除此之外在任何情况下都保留所有版权。

优先权要求和对相关申请的交叉引用：

本申请要求于2017年9月29日提交的标题为“SYSTEM AND METHOD FOR CAPTUREOF CHANGE DATA FROM NOSQL DATABASES OR DISTRIBUTED DATA STREAMS,FOR USE WITHHETEROGENEOUS TARGETS”的申请编号为62/566,113的美国临时专利申请的优先权；并且与2011年3月31日提交的标题为“MYSQL DATABASE-HETEROGENEOUS LOG BASED REPLICATION”的申请编号为13/077,760的美国专利申请相关，该申请随后作为美国专利8,510,270发布，该专利要求2010年7月27日提交的标题为“HETEROGENEOUS LOG BASED REPLICATION FROMDATABASES SUCH AS MYSQL DATABASES”的申请编号为61/368,141的美国临时专利申请的优先权；以上申请中的每一个通过引用并入本文。

技术领域

本申请描述的实施例涉及从分布式数据源系统捕获变更数据(change data)，以供一个或多个异构目标使用，包括对诸如分布式源拓扑感知、初始加载、重复数据删除(deduplication)和恢复之类的特征的支持。

背景技术

组织有时可能需要在不同数据库环境之间移动数据，例如以创建数据的备份，或者使得能够在不同数据库应用之间共享数据。数据复制系统有助于满足这一需求，例如通过作为行操作的结果检测和复制对数据库表中的数据的变更，代替拷贝整个表及其中的数据。这种方法可以用于将目标数据库中的数据与源数据库中的数据同步。

但是，支持非常大的数据集的环境(例如大数据环境)带来了与可用性、可伸缩性和容错性相关的挑战，并且传统的数据库或数据复制系统可能无法充分扩展以处理如此大量的数据。组织越来越多地转向提供分布式数据源的系统，例如诸如Apache Cassandra、Kafka、MongoDB、Oracle NoSQL或Google Bigtable之类的数据库，以解决这些问题。这些是可以使用本教导的实施例的环境类型的一些示例。

发明内容

根据实施例，本文描述的是用于从分布式数据源系统(例如分布式数据库或分布式数据流)捕获变更数据以及准备规范(canonical)格式输出，以供一个或多个异构目标(例如数据库或消息队列)使用的系统和方法。变更数据捕获系统可以包括对诸如分布式源拓扑感知、初始加载、重复数据删除和恢复之类的特征的支持。本文描述的系统和方法的技术目的包括确定以及向一个或多个目标计算机系统传送对分布式数据源处的数据执行的变更，该分布式数据源包括跨多个节点的大量数据。

附图说明

图1图示了根据实施例的用于从分布式数据源捕获变更数据以供异构目标使用的系统。

图2进一步图示了根据实施例的用于从分布式数据源捕获变更数据的系统。

图3进一步图示了根据实施例的用于从分布式数据源捕获变更数据的系统。