[发明专利]一种数据同步方法、装置及设备

说明书

本说明书实施例提供一种数据同步方法、装置及设备。所述方法包括：获取对应于缓存数据库的第一更新记录；所述第一更新记录用于标识所述缓存数据库中更新的数据；收集对应于批量数据管理系统的第二更新记录；所述第二更新记录用于标识所述批量数据管理系统中更新的数据；将所述缓存数据库中对应于第一更新记录的第一数据复制至所述批量数据管理系统中；将所述批量数据管理系统中对应于所述第二更新记录的第二数据同步至缓存数据库中。上述方法使得缓存数据库能够得到批量数据管理系统中的大批量数据的支持，批量数据管理系统能够获取缓存数据库中高时效性的数据，从而使得不同类型的数据库都能够更好地适应实际应用中业务的不同需求。

技术领域

本说明书实施例涉及大数据技术领域，特别涉及一种数据同步方法、装置及设备。

背景技术

随着社会的发展以及大数据技术的应用，越来越多的数据产生且被利用，例如用于记录相应的业务操作或预测某一事件的发展状态。而为了对这些数据进行有效利用，往往需要利用不同的存储方式对这些数据进行存储管理。例如，针对某些对实时计算要求较高的场景，可以利用缓存数据库来提供高时效性的快速读写；针对数据量庞大的静态数据，往往利用一般的关系型数据库对这些数据进行大批量存储管理。

但是，由于不同数据库的针对性不同，在实际应用的过程中，往往无法有效利用同一数据库处理综合业务场景，例如，缓存数据库往往得不到大批量数据的支持，关系型数据库往往不存在高时效性的数据，也无法进行快速的数据读写。但在实际应用中，这两种需求往往都是必须的，在缺乏数据库有效支持的情况下，会对实际业务处理过程造成较大的影响。因此，目前亟需一种能够同时保证数据库的高时效性和大批量存储运维的方法。

发明内容

本说明书实施例的目的是提供一种数据同步方法、装置及设备，以解决如何同时保证数据库的高时效性和大批量存储运维的问题。

为解决上述技术问题，本说明书实施例提供一种数据同步方法，包括：获取对应于缓存数据库的第一更新记录；所述第一更新记录用于标识所述缓存数据库中更新的数据；收集对应于批量数据管理系统的第二更新记录；所述第二更新记录用于标识所述批量数据管理系统中更新的数据；将所述缓存数据库中对应于第一更新记录的第一数据复制至所述批量数据管理系统中；将所述批量数据管理系统中对应于所述第二更新记录的第二数据同步至缓存数据库中。

本说明书实施例还提出一种数据同步装置，包括：第一更新记录获取模块，用于获取对应于缓存数据库的第一更新记录；所述第一更新记录用于标识所述缓存数据库中更新的数据；第二更新记录收集模块，用于收集对应于批量数据管理系统的第二更新记录；所述第二更新记录用于标识所述批量数据管理系统中更新的数据；第一数据复制模块，用于将所述缓存数据库中对应于第一更新记录的第一数据复制至所述批量数据管理系统中；第二数据同步模块，用于将所述批量数据管理系统中对应于所述第二更新记录的第二数据同步至缓存数据库中。

本说明书实施例还提出一种数据同步设备，包括存储器和处理器；所述存储器，用于存储计算机程序指令；所述处理器，用于执行所述计算机程序指令以实现以下步骤：获取对应于缓存数据库的第一更新记录；所述第一更新记录用于标识所述缓存数据库中更新的数据；收集对应于批量数据管理系统的第二更新记录；所述第二更新记录用于标识所述批量数据管理系统中更新的数据；将所述缓存数据库中对应于第一更新记录的第一数据复制至所述批量数据管理系统中；将所述批量数据管理系统中对应于所述第二更新记录的第二数据同步至缓存数据库中。

为了解决上述技术问题，本说明书实施例还提出一种数据同步方法，包括：利用第一更新记录标识更新的第一数据，以使同步组件基于所述第一更新记录获取所述第一数据，并将所述第一数据复制至批量数据管理系统中；存储所述同步组件获取的第二数据；所述第二数据包括同步组件根据批量数据管理系统的第二更新记录所复制的数据；所述第二更新记录用于标识所述批量数据管理系统中更新的数据。