[发明专利]一种数据同步的方法及相关设备

说明书

本申请提供一种数据同步的方法及相关设备。其中，该方法包括：跟随者分区follower partition获取偏移量选取策略；该follower partition基于所述偏移量选取策略确定在待同步的话题topic的领导者分区leader partition中的目标偏移量；该follower partition从所述leader partition的确定的目标偏移量开始同步所述leader partition中的数据到所述follower partition。上述方法能够提高数据同步的灵活性，提高数据同步效率，缩短数据同步时间。

技术领域

本发明涉及信息技术领域，尤其涉及一种数据同步的方法及相关设备。

背景技术

分布式发布订阅消息系统(kafka)具备良好的功能特性，它通过磁盘结构提供消息的持久化，可以保持长时间的稳定性能，具备高吞吐量，能够支持每秒数百万的消息，而且可以支持并行数据加载，所以kafka一般用于处理应用服务系统或人工智能(artificialintellingence，AI)平台产生的海量流数据。

Kafka作为当前最常用的分布式消息队列系统，通常会缓存消息数据在本地磁盘上，kafka中发布订阅的对象是类别(topic)，每个topic表示一类数据，一个topic又分为多个分区(partition)，每个partition就是一个有序的队列。每个topic的不同partition分布在不同的磁盘或主机上，同时，kafka为了保证可靠性，每个partition又存在多个副本(replica)，多个副本之间会选举出一个主副本，主副本又可以称为领导者分区(leaderpartition)，其余的副本为从副本，又可以称为跟随者分区(follower partition)。Follower partition会持续的从leader partition同步最新的消息数据，消费者(从topic订阅消息的客户端)和生产者(向topic发布消息的客户端)在进行消费和生产时，直接和leader partition进行交互。当某个leader partition所在的节点突然发生故障或者掉电时，该partition对应的follower partition会选举出新的leader partition，从而保证服务的可靠性和数据的安全性。

当kafka集群中的节点发生故障无法恢复，或者需要扩充kafka集群的存储容量(即增加节点数量)时，需要对kafka集群中存在的副本进行迁移以保证副本的完整性，当前对kafka集群中副本的迁移是通过kafka本身提供的迁移工具完成副本迁移，但这种方式不够灵活，迁移时间较长，效率较低，且会持续占用中央处理器(central processing unit，CPU)资源和网络带宽资源，影响业务的正常运行。

发明内容

本发明实施例公开了一种数据同步的方法及相关设备，follower partition能够从leader partition中灵活选择需要同步的数据，提高数据同步效率，缩短数据同步时间，降低对业务的影响。

第一方面，本申请提供了一种数据同步的方法，包括：跟随者分区followerpartition获取偏移量选取策略；所述follower partition基于所述偏移量选取策略确定在待同步的话题topic的领导者分区leader partition中的目标偏移量；所述followerpartition从所述leader partition的确定的目标偏移量开始同步所述leader partition中的数据到所述follower partition。

在本申请实施例中，follower partition可以根据需要灵活选择需要同步的目标偏移量，并在确定目标偏移量之后，从leader partition中确定的目标偏移量开始同步leader partition中的数据到follower partition，这样可以提高数据同步效率，缩短数据同步时间，扩展适用场景。