[发明专利]数据复制系统

说明书

公开了一种数据复制系统，包括被配置为在第一数据储存库运行的变化事件检测模块和被配置为在第二数据储存库运行的变化事件实现模块。还提供了一种被配置为根据消息订阅传输接收到的消息的消息服务。事件检测模块被配置为检测对第一数据储存库所做的变化，并将变化事件消息传输到消息服务。事件实现模块被配置为在消息服务处订阅变化事件消息，并且响应于接收到变化事件消息，在第二数据储存库实现变化事件。

技术领域

本发明涉及用于在不同数据存储系统之间复制数据的系统和方法。

背景技术

组织管理越来越大的数据量。一种替代方法是将数据汇集到大规模的数据储存库中，有时也称为数据仓库或数据湖，而不是依赖于许多单独的传统数据库(例如，关系数据库)。通常需要在另一位置维护来自这种数据仓库的数据副本。这可能是为了数据安全和灾难恢复，但也是为了允许不同系统(例如，操作和分析系统)访问，而这些系统不会中断彼此的操作。然而，许多大规模数据仓库解决方案中采用的相当自由、非结构化的数据存储方法在实现数据复制时带来了挑战。所涉及的数据量也可能非常大，并且因此数据提取和传输过程可能会影响任何一个数据存储的操作(这可能会有问题，尤其是如果源数据支持具有高交易量的组织的操作)。一种常见的方法是在安静的时间(例如，夜间)以相对不频繁的批处理方式复制数据。然而，这意味着目标数据存储(例如，可以支持分析和报告功能)通常不是完全最新的，仅提供特定时间点的数据的近似历史视图。此外，现有的数据复制工具通常在功能上受到限制，并且不一定允许源数据存储的所有必需方面高效地复制到目标数据存储。例如，虽然基于Apache Hadoop的存储集群上可用的“distcp”分布式复制工具可用于执行基本的复制操作，但这仅在文件级别操作，并且因此比实时数据复制更适合于计划的批量复制操作。

发明内容

本发明力图减轻已知数据复制方法的一些问题。

在本发明的第一方面，提供了一种在目标数据储存库处复制对源数据储存库所做的变化的方法，该方法包括在目标数据储存库处：接收变化事件消息，包括指定在源数据储存库处检测到的数据变化事件的信息，所述数据变化事件包括写入源数据储存库的一个或多个数据值；响应于变化事件消息，向源数据储存库发送对一个或多个数据值的请求；从源数据储存库接收一个或多个数据值；并且基于所接收的数据值更新存储在目标数据储存库中的数据。

这种方法允许将源储存库中所做的变化的通知与修改数据的检索分开，从而提高效率和可靠性。一个或多个数据值可以包括写入源储存库的新数据(例如，插入数据表的行或附加到文件的数据)，或者可以包括替换现有数据值的修改后的数据值(例如，数据表的行更新或覆盖文件中现有数据的数据)。该请求可以是特定的并且仅针对新的/修改的数据值的请求，和/或作为响应，可以仅传输/接收新的/修改的数据值(例如，修改行中的特定字段值)。可选地，可以请求和/或响应于该请求传输/接收包括新的/修改的数据值的更大的数据单元。例如，对于行插入或行更新，可以请求/传输整行，或者可以请求/传输包含包括新的/修改的数据值(例如，包含多个表行)的表数据的整个文件。对于文件更新，可以请求/传输整个文件或其相关部分。

该消息优选地指定在源数据储存库处执行的操作。该操作可以包括插入操作和更新操作中的一个(例如，用于插入或更新数据表中的一行或多行)。该操作还可以包括文件创建/更新/附加操作。

优选地，消息不包括一个或多个数据值。因此，该消息可以指定所执行的操作的类型和/或识别修改的数据，而不包括修改的数据。优选地，该消息包括允许识别一个或多个数据值的识别信息，该请求包括识别信息(例如，行或文件标识符)。

该消息优选地经由消息服务接收。这种消息服务优选地被设置为从一个或多个消息源接收消息，并将接收到的消息传送到一个或多个消息目的地，其中，消息目的地已经注册了对消息的兴趣(即订阅)。因此，该方法可以包括由目标数据储存库订阅来自消息服务的变化事件消息。