[发明专利]跟踪改变数据捕获日志历史

说明书

本发明公开涉及跟踪改变数据捕获日志历史。一种方法包括获得源系统的第一快照以及导出反映所述第一快照的键‑值对集合。执行源系统的镜像操作以获得CDC改变操作。该方法获得第一CDC日志作为键‑值对的第一序列。获得源系统的第二快照并且导出键‑值对集合，其反映第二快照。将键‑值对的第一序列与键‑值对集合进行比较以导出被捕获为键‑值对集合的校正CDC操作。校正CDC操作表示要对于键‑值对的第一序列执行的校正。第二CDC日志作为键‑值对的第二序列获得。校正CDC操作确保键‑值对的第二序列与键‑值对集合相干。

技术领域

本发明总体上涉及用于跟踪改变数据捕获(CDC)日志历史的计算机化方法和计算机程序产品。特别地，本发明涉及依赖于校正CDC操作以产生一致的CDC日志的方法。

背景技术

大多数企业数据被存储在关系数据仓库中，在关系数据仓库中，其通常被更新、处理和查询，例如以生成用于企业的商业的可采取动作的信息。数据湖允许来自许多不同源的数据被组合，使得可以从这样的数据提取附加值。例如，天气数据和供应链数据的组合可以导致关于对这些供应链的潜在风险的预测。因此，理想地实时地将来自多个不同源的关系数据复制到许多不同的存储和处理系统是受到关注的。在混合云模型中，这样的系统将在公司的私有云和一个或多个云供应商的公共云两者上运行。例如，公司的销售数据可被存储在驻留在公司的房屋上的交易系统中，并且也可被复制到其中分析过程可生成销售推荐的公共云上。

在改变数据捕获(CDC)系统中，在目标系统中仅更新源系统中实际上已改变的数据。这些系统中的关键任务是识别数据集的哪些部分已经改变。在关系型数据库系统中，这可以通过检查事务日志来有效地实现。

通常，在CDC系统内，首先将表的初始刷新/快照执行到诸如Kafka主题(或MQ队列)的消息系统中，然后从改变日志读取所有后续改变并将其传播到主题。包括初始刷新的所有改变被存储为单独的消息。CDC系统可通过注意执行第一刷新的操作并确保在该刷新之后执行的所有操作被正确捕获来确保这两个独立操作之间的相干性(coherence)。读取该主题然后将允许在目标系统处创建源数据库的副本。当目标系统处的状态表示源系统的某一有效状态时，目标数据库中的数据被定义为相对于源数据库的数据是相干的。与一致性(consistency)相反，这是对所有数据库的要求)，相干性更具体地涉及复制的数据库。

发明内容

根据第一方面，本发明被实现为跟踪改变数据捕获日志历史或CDC日志历史的方法。首先，获得源系统的第一快照并且导出反映第一快照的键-值对的集合S₁。然后，执行源系统的镜像操作以相应地获得CDC改变操作。CDC改变操作表示待对于键-值对的集合S₁执行的改变。这样的操作被捕获为键-值对的集合S_M。接下来，获取第一CDC日志作为键-值对的第一序列S_A，这些键-值对包括集合S₁和集合S_M的键-值对。此外，(在获得第一快照之后)获得源系统的第二快照，并且导出键-值对的集合S₂，其反映第二快照。然后，将键-值对的第一序列S_A与键-值对的集合S₂进行比较，以导出被捕获为键-值对的集合S₃的校正CDC操作。校正CDC操作表示要对于键-值对的第一序列S_A执行的校正。最后，获取第二CDC日志作为键-值对的第二序列S_B，其包括序列S_A和集合S₃的键-值对。校正CDC操作确保键-值对的第二序列S_B作为整体与键-值对的集合S₂相干。

优选地，该方法进一步包括解释键-值对的第二序列以修改目标系统的当前状态，以便该目标系统在获得该第二快照时成为与该源系统的状态相干的目标状态。