[发明专利]数据同步补救、存储方法及集群装置

说明书

申请提供一种数据同步补救、存储方法及集群装置，当需要主备切换时，本发明中在保证了具有存储节点装置高可用能力的前提下，通过分布式消息中间件集群装置记录主节点装置所有写请求数据包，并在备节点装置中记录同步主节点装置数据时最后一条数据完成同步的时间戳，当出现主备切换时，利用了分布式消息中间件集群装置可以根据时间戳来查找对应的数据包的特性，结合时间戳回退，找到主备节点装置间的差异数据，并将这些数据通过补数机制写入主备切换后新的主节点装置中，从而避免了主备切换后的数据丢失。

技术领域

本申请涉及数据同步补救技术领域，具体涉及数据同步补救、存储方法及集群装置。

背景技术

很多追求高性能的分布式存储系统的主备数据同步机制为异步复制，所以当主节点装置出现故障并触发主备切换时，会有部分数据丢失的风险。

发明内容

针对现有技术中的问题，本申请提供一种数据同步补救、存储方法及集群装置，能够在不影响整个系统对外服务的高性能基础上，保证了数据零丢失且不中断对外服务。

为解决上述技术问题，本申请提供以下技术方案：

第一方面，一种数据同步补救方法，应用于代理服务器集群装置，包括：

当至少一个备用节点装置中的一个与主节点装置主备切换后，记录分布式消息中间件集群装置最新写入数据对应的第一时刻；其中主备切换前，将写请求数据写入所述分布式消息中间件集群装置，而后从所述分布式消息中间件集群装置中拉取所述写请求数据并写入至主节点装置，至少一个备用节点装置异步复制所述主节点装置写入的数据；

读取当前主节点装置中最新异步复制数据的时间点，并结合同步时钟的时长生成第二时刻；

拉取所述分布式消息中间件集群装置中第二时刻至第一时刻内所有的数据，写入至当前主节点装置。

优选的实施例中，所述第一时刻和第二时刻以时间戳或偏移量的形式被记录，在记录分布式消息中间件集群装置最新写入数据对应的第一时刻之后，所述数据同步补救方法还包括：

将所述第一时刻对应的时间戳或偏移量发送到分布式协调装置；

相对应地，在生成第二时刻后，所述数据同步补救方法还包括：

将所述第二时刻对应的时间戳或偏移量发送到分布式协调装置。

优选的实施例中，当至少一个备用节点装置中的一个与主节点装置主备切换后，所述当前主节点装置被监控系统集群装置配置为可写不可读状态；

当从所述分布式消息中间件集群装置拉取到第一时刻的数据后，所述数据同步补救方法还包括：

向所述分布式协调装置反馈补数完成事件，以使监控系统集群装置将所述当前主节点装置配置为可读可写状态。

优选的实施例中，所述主节点装置与备用节点装置之间异步复制产生的时差为3s。

第二方面，一种数据同步补救方法，应用于监控系统集群装置，包括：

检测主节点装置是否宕机；

若是，断开至少一个备用节点装置与所述主节点装置的主备关系，并将其中一个备用节点装置置为可写不可读状态；

修改对应的路由信息，将所述其中一个备用节点装置的身份变更为主节点装置；其中，主备切换前，将数据写入所述分布式消息中间件集群装置，而后从所述分布式消息中间件集群装置中拉取所述写请求数据并写入至主节点装置，至少一个备用节点装置异步复制所述主节点装置写入的数据；