[发明专利]分布式数据库的数据同步方法、系统、终端及存储介质

说明书

本发明涉及分布式数据库技术领域，具体提供一种分布式数据库的数据同步方法、系统、终端及存储介质，包括：为主节点执行更新操作的对象数据生成索引，将对象数据和相应索引同步至从节点；定期获取从节点的最新索引，并校验所述最新索引与主节点本地最新索引的一致性；如果从节点的最新索引未通过一致性校验，则查找主节点中与所述从节点的最新索引匹配的定位索引；将操作时间在所述定位索引之后的索引及相应对象数据同步至所述从节点。本发明可实现整个MySQL集群各个节点数据的最终一致性，使得出现故障又恢复的节点也能够返回给客户端正确的数据。

技术领域

本发明涉及分布式数据库技术领域，具体涉及一种分布式数据库的数据同步方法、系统、终端及存储介质。

背景技术

随着移动互联网时代的到来，智能设从越来越多，数据量存储越来越大，用户读写数据的频次和并发度也越来越高，传统的单机数据库不能满足海量数据存储和并发处理的需求。越来越多的企业选择使用分布式数据库集群，如：MySQL数据库集群。使用分布式集群的本质就是各个节点之间的数据复制，伴随而来的问题就是集群各个节点数据的一致性问题，即只有主从数据库中的数据保持一致时，才可实现主从的替换。目前业界使用的数据复制技术大体分为三类：(1)同步复制技术：比较注重一致性。当用户请求更新数据时，主数据库必须要同步到从数据库之后才可给用户返回，即如果主数据库没有同步到从数据库，用户的更新操作会一直阻塞。这种方式保证了数据的强一致性，但牺牲了系统的可用性。一般应用于金融、交易之类的场景；(2)异步复制技术：注重可用性。当用户请求更新数据时，主数据库处理完请求后可直接给用户响应，而不必等待从数据库完成同步，即从数据库会异步进行数据的同步，用户的更新操作不会因为从数据库未完成数据同步而导致阻塞。这种方式保证了系统的可用性，但牺牲了数据的一致性。多应用于对用户请求响应时延要求很高的场景；(3)半同步复制技术：介于前两者之间，核心是用户发出写请求后，主数据库会执行写操作，并给从数据库发送同步请求，但主数据库不用等待所有从数据库回复数据同步成功便可响应用户，也就是说主数据库可以等待一部分从数据库同步完成后响应用户写操作执行成功，适用于大多数的分布式场景。

针对于上述第三种同步复制技术，主数据库是在收到一部分从数据库同步成功的信号后即向用户响应同步成功，此时会出现以下问题：部分从数据库(未更新成功)的数据不是最新的，如果此时客户端访问这几个节点进行数据读取，则读取结果就不是最新的。需要解决主节点与这几个未同步成功节点的数据不一致问题。

发明内容

针对现有技术的上述不足，本发明提供一种分布式数据库的数据同步方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种分布式数据库的数据同步方法，包括：

为主节点执行更新操作的对象数据生成索引，将对象数据和相应索引同步至从节点；

定期获取从节点的最新索引，并校验所述最新索引与主节点本地最新索引的一致性；

如果从节点的最新索引未通过一致性校验，则查找主节点中与所述从节点的最新索引匹配的定位索引；

将操作时间在所述定位索引之后的索引及相应对象数据同步至所述从节点。

进一步的，定期获取从节点的最新索引，并校验所述最新索引与主节点本地最新索引的一致性，包括：

根据从节点中每条索引对应的对象数据的操作时间，筛选出最新索引；

如果所述最新索引与主节点本地最新索引，则判定从节点数据与主节点保持同步。

进一步的，如果从节点的最新索引未通过一致性校验，则查找主节点中与所述从节点的最新索引匹配的定位索引，包括：

将主节点的所有索引按操作时间排序，所述操作时间为对应更新操作的执行时间；