[发明专利]基于GTID的长距离数据同步方法、装置及计算设备

说明书

本发明实施例涉及大数据技术领域，公开了一种基于GTID的长距离数据同步方法、装置及计算设备，该方法包括：从当前的第一数据中心的Zookeeper集群中订阅存储有需要进行稽核的元数据信息的数据节点触发稽核；对所述第一数据中心数据库和第二数据中心数据库的数据按数据块分别计算校验和，并进行比较查找存在数据差异的所述数据块；持续调整存在数据差异的所述数据块的大小并重复计算比较校验和，直至查找到校验和不一致的差异数据；对校验和不一致的所述差异数据进一步比较校验和，获取稽核结果。通过上述方式，本发明实施例能够有效检测海量同步数据差异，实现高效地跨中心数据差异对比，极大地提升了数据稽核效率。

技术领域

本发明实施例涉及大数据技术领域，具体涉及一种基于GTID的长距离数据同步方法、装置及计算设备。

背景技术

在现有互联网架构演进过程中，应用服务的高可用保障是互联网架构建设的核心。异地灾备、异地双活是保障应用服务高可用建设的重要手段。然而，异地灾备、异地双活架构需要解决的核心问题是如何保障跨中心应用数据一致性。跨中心数据同步是多数据中心数据一致性有效解决方案，跨中心数据同步可以分为两种方式：一种是存储复制，另一种是数据复制。存储复制是通过存储复制技术，将磁盘同步或者异步复制到不同数据中心。数据复制是通过数据库技术或者第三方软件实现数据中心间的数据同步。

现有已知开源数据库同步系统及商业的跨中心数据同步服务主要解决的问题集中在跨中心单向主备模式的数据同步场景。对于异地灾备、异地双活的应用场景，由于数据同步平台是整个异地灾备、异地双活架构的核心，如何实现数据同步系统自身的高可用建设是数据同步平台在生产环境部署应用的重要考量。

现有的开源软件或系统未提供高可靠，可扩展的数据同步平台架构，缺乏有效的监控管理手段，不能满足实际生产环境的需要，未提供高效准确的数据稽核方案，及时发现多中心数据同步差值，反馈多中心业务数据不一致。

发明内容

鉴于上述问题，本发明实施例提供了一种基于GTID的长距离数据同步方法、装置及计算设备，克服了上述问题或者至少部分地解决了上述问题。

根据本发明实施例的一个方面，提供了一种基于GTID的长距离数据同步方法，所述方法包括：从当前的第一数据中心的Zookeeper集群中订阅存储有需要进行稽核的元数据信息的数据节点触发稽核；对所述第一数据中心数据库和第二数据中心数据库的数据按数据块分别计算校验和，并进行比较查找存在数据差异的所述数据块；持续调整存在数据差异的所述数据块的大小并重复计算比较校验和，直至查找到校验和不一致的差异数据；对校验和不一致的所述差异数据进一步比较校验和，获取稽核结果。

在一种可选的方式中，所述对所述第一数据中心数据库和第二数据中心数据库的数据按数据块分别计算校验和，并进行比较查找存在数据差异的所述数据块，包括：对第二数据中心数据库的数据按数据块进行CRC32校验，计算第一校验和并取出数据块边界；对所述第一数据中心数据库的数据根据所述数据块边界进行CRC32校验，计算第二校验和；比较所述第一校验和与所述第二校验和，如果所述第一校验和与所述第二校验和一致，则说明所述数据块在第一数据中心数据库与第二数据中心数据库中数据同步；如果所述第一校验和与所述第二校验和不一致，则说明所述数据块在第一数据中心数据库与第二数据中心数据库中存在数据差异。

在一种可选的方式中，所述持续调整存在数据差异的所述数据块的大小并重复计算比较校验和，直至查找到校验和不一致的差异数据，包括：缩小所述数据块的大小；对缩小的所述数据块分别计算校验和并进行比较，查找存在数据差异的所述数据块；重复缩小存在数据差异的所述数据块的大小并计算和比较校验和，直至存在数据差异的所述数据块中只包括校验和不一致的所述差异数据。