[发明专利]数据同步方法、装置、电子设备及计算机可读存储介质

说明书

本申请实施例提供了一种数据同步方法、装置、电子设备及计算机可读存储介质。该数据同步方法包括：获取最新数据版本，以及与最新数据版本对应的用户数据；根据最新数据版本的更新类型，确定用户数据的数据路径并分类到数据文档中，数据文档包括第一数据文档和第二数据文档；根据数据文档，将最新数据版本对应的用户数据更新到分布式文件系统中。本申请提供的数据同步方法根据最新数据版本的更新类型，将用户数据的数据路径分类到数据文档中并分别将用户数据更新到分布式文件系统中，可在具有大量数据的环境下，通过管控数据版本，将数据备份到分布式文件系统，有效防止数据误删或者传错目录的情况。

技术领域

本申请涉及计算机数据管理技术领域，具体而言，本申请涉及一种数据同步方法、装置、电子设备及计算机可读存储介质。

背景技术

随着数据收集手段的不断丰富以及人们对数据重要性的认识不断加深，越来越多的与人类活动相关的数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量级别。面对分析海量数据的需求，现有的单台服务器已经力不从心。在这种大数据环境下进行数据管理，例如进行数据备份，是十分必要的容灾手段。

通过数据库进行数据备份是目前较为常用的数据容灾手段。由于数据量的不断增大，开发人员在管理数据时通常需要一套大数据系统来维护和保护数据。在集群环境中，可能有上千台服务器连在一起，故障率很高。一旦发生硬件故障，为了能够正常读取数据，就必须由该大数据系统中未发生故障的服务器提供在线数据或基于数据的在线服务，因此也就存在数据在多节点当中备份和存储的数据管理行为。

然而，在数据收集并备份的过程中，由于数据来源很广，数据库又较为复杂，很容易发生数据误删或数据传错目录的情况，十分不利于数据的妥善管理和应用。

发明内容

本申请针对现有方式的缺点，提出一种数据同步方法、装置、电子设备及计算机可读存储介质，用以解决现有技术存在的在数据备份时发生数据误删或误传的技术问题。

第一个方面，本申请提供了一种数据同步方法，包括：

获取最新数据版本，以及与最新数据版本对应的用户数据；

根据最新数据版本的更新类型，确定用户数据的数据路径并分类到数据文档中，数据文档包括第一数据文档和第二数据文档；

根据数据文档，将最新数据版本对应的用户数据更新到分布式文件系统中。

在第一个方面的某些实现方式中，获取最新数据版本的步骤，包括：

获取多个用户数据，根据用户数据对数据版本进行更新；

确定预设更新周期内最后更新的数据版本为最新数据版本。

结合第一个方面和上述实现方式，在第一个方面的某些实现方式中，更新类型包括增加数据和删除数据；确定用户数据的数据路径并分类到数据文档中，包括：

根据最新数据版本中各用户数据的更新类型，创建各用户数据对应的数据文档；

将用户数据的数据路径写入到与更新类型对应的数据文档中。

结合第一个方面和上述实现方式，在第一个方面的某些实现方式中，将用户数据的数据路径写入到与更新类型对应的数据文档中，包括：

当最新数据版本对应的用户数据的更新类型为增加数据时，确定用户数据对应的数据文档为第一数据文档，将用户数据的数据路径写入到第一数据文档中；

当最新数据版本对应的用户数据的更新类型为删除数据时，确定用户数据对应的数据文档为第二数据文档，将用户数据的数据路径写入到第二数据文档中。

结合第一个方面和上述实现方式，在第一个方面的某些实现方式中，根据数据文档，将最新数据版本对应的用户数据更新到分布式文件系统中，包括：