[发明专利]数据同步方法、装置及存储介质

说明书

本申请涉及一种数据同步方法、装置及存储介质，属于计算机技术领域，该方法包括：获取全量同步指示；按照所述全量同步指示开始执行数据全量同步；获取所述数据全量同步过程中的目标数据更新操作；在数据全量同步完成后，按照所述目标数据更新操作进行二次数据同步；可以解决现有的数据全量同步时若存在数据更新操作，容易出现数据出错的问题；由于通过在数据全量同步结束之后，才根据数据全量同步过程中获取到数据更新操作进行二次数据同步，因此，可以避免全量同步过程中发生的数据同步冲突，提高数据同步准确性。

技术领域

本申请涉及一种数据同步方法、装置及存储介质，属于计算机技术领域。

背景技术

目前很多项目需要完成对公安、交通、教育、信用等多方数据的汇聚，实现数据集中和数据共享，而且对数据的准确性要求较高。为了保证数据的安全性或者满足数据订阅需求，通常需要将已存储数据同步至指定位置。

现有的数据同步方式包括：在某个时间点对数据全量同步至指定位置。增量同步采用监听数据库操作日志，发送实时数据变化至消息订阅系统。系统通过监听消息订阅系统来同步数据变化。

但是，在第一次数据全量同步过程中存在下述情况：在数据还未同步至指定位置的目标表时，源表数据发生了更改，系统监听到变化后在目标表更新数据，由于目标表还未有记录，导致更新报错。

发明内容

本申请提供了一种数据同步方法、装置及存储介质，可以解决现有的数据全量同步时若存在数据更新操作，容易出现数据出错的问题。本申请提供如下技术方案：

第一方面，提供了一种数据同步方法，所述方法包括：

获取全量同步指示；

按照所述全量同步指示开始执行数据全量同步；

获取所述数据全量同步过程中的目标数据更新操作；

在数据全量同步完成后，按照所述目标数据更新操作进行二次数据同步。

可选地，所述在数据全量同步完成后，按照所述目标数据更新操作进行二次数据同步，包括：

按照所述目标数据更新操作从前至后的顺序进行二次数据同步。

可选地，所述获取所述数据全量同步过程中的目标数据更新操作，包括：

获取所述数据全量同步的开始时间和结束时间；

从数据变化记录表中获取所述开始时间至所述结束时间之间的目标数据更新操作，所述数据变化记录表用于记录数据更新操作。

可选地，所述获取所述数据全量同步过程中的目标数据更新操作，包括：

在数据全量同步开始时，若接收到数据更新操作，则将所述数据更新操作存储至数据变化记录表；

在数据全量同步结束时停止执行所述将数据更新操作存储至数据变化记录表的步骤，得到数据变化记录表，所述数据变化记录表包括目标数据更新操作。

可选地，所述获取全量同步指示之前，包括：

接收应用系统的订阅请求；

根据所述订阅请求建立与所述应用系统的订阅关系。

可选地，所述获取全量同步指示，包括：

按照所述订阅关系每隔预设时长生成所述全量同步指示。

可选地，所述获取全量同步指示，包括：

获取所述应用系统发送的全量同步指示。

可选地，所述按照所述目标数据更新操作进行二次数据同步之后，还包括：