[发明专利]一种数据同步方法、装置以及电子设备

说明书

本申请公开了一种数据同步方法，包括：利用节点集群中节点从日志队列中读取新提交日志；所述新提交日志是指所述节点集群前一次从所述日志队列中读取日志后提交的日志；根据所述新提交日志所记录数据变更操作涉及的数据变更，将所述数据变更应用到所述节点集群存储快照数据文件的数据存储空间中。所述数据同步方法在进行数据同步时，将日志队列中新提交日志涉及的数据变更应用到节点集群的数据存储空间中，从而保持数据的一致性；同时实现了日志和快照数据文件的分离，克服了快照数据文件的存储容量受限于单机存储容量的缺陷。

技术领域

本申请涉及数据同步技术领域，具体涉及一种数据同步方法。本申请同时涉及一种数据同步装置，以及一种电子设备。

背景技术

随着云计算的发展，越来越多的业务需求要求一种更强大的用于数据存储的数据中心，并且要求数据中心具有较强的高可用性，能够最大程度的减少甚至消除系统故障对正常业务的影响，因此，建立多个数据中心实现业务容灾成为必然选择，这些数据中心之间的数据同步成为实现业务高可用性至关重要的一环。

目前有许多方案着眼于实现分布式场景下的数据一致性，比如Google Chubby是最早引入Paxos一致性协议的一个项目，以及基于ZAB(Zookeeper Atomic Broadcast，Zookeeper原子消息广播协议)实现的Zookeeper项目，这两个项目设计之初就是只在单个数据中心内部部署运行的，无法实现在跨地域场景中运行，数据存储容量受限于单机存储，之所以受限于单机存储，是因为所采用架构决定的，在这种架构中，一般存在数目为奇数的节点，节点两两互连，通过一致性选举协议选举获得主节点，其余节点为从节点，每个节点上有一个数据库，数据库由log(日志)和snapshot(快照)组成，在这种架构中，数据库的log和snapshot是密不可分的两个组件，并且在一个节点中，有且仅有一个log和一个snapshot组件，使得snapshot的规模不能无限增长，始终受限于节点的单机存储容量。

发明内容

本申请提供一种数据同步方法，以解决现有技术存在的存储容量受限的缺陷。本申请另外提供一种数据同步装置，以及一种电子设备。

本申请提供一种数据同步方法，包括：

利用节点集群中节点从日志队列中读取新提交日志；所述新提交日志是指所述节点集群前一次从所述日志队列中读取日志后提交的日志；

根据所述新提交日志所记录数据变更操作涉及的数据变更，将所述数据变更应用到所述节点集群存储快照数据文件的数据存储空间中。

可选的，所述节点集群包括由节点组成的节点集群集合当中的至少一个节点集群，所述节点集群集合当中的节点集群部署在至少一个地理区域中，且所述节点集群在所述地理区域中部署的数目大于或者等于1。

可选的，所述日志队列中日志根据所述节点集群中节点提交的数据变更操作创建，并在创建的日志中记录当前数据变更操作后加入所述日志队列。

可选的，所述节点集群中节点通过提供的数据存储模型向用户提供数据服务；其中，所述数据存储模型包括：基于Key/Value的数据存储模型。

可选的，所述数据存储模型提供的数据操作包括：所述数据变更操作和数据读取操作；其中，所述数据变更操作包括：数据创建操作、数据删除操作和数据修改操作。

可选的，所述日志在加入所述日志队列时按照预设排序顺序依次排序，所述排序顺序包括：加入所述日志队列的时间从先到后的顺序。

可选的，所述利用节点集群中节点从日志队列中读取新提交日志步骤执行前，执行下述步骤：

通过所述节点集群中节点接收包含数据变更操作的数据请求；

根据所述数据请求中包含的数据变更操作创建日志，并在创建的日志中记录当前数据变更操作后加入所述日志队列。