[发明专利]数据同步方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据同步方法、装置、电子设备及存储介质。数据同步方法包括：首先获取源端数据的操作事务日志；其次根据操作事务日志，得到操作事务信息集，操作事务信息集包括多个操作事务信息，操作事务信息包括数据对象标识、操作事务标识、操作事务类型、数据对象旧值和数据对象新值；然后根据操作事务信息集，对目的端数据进行同步操作，得到已同步数据，已同步数据与源端数据相同，同步操作包括插入操作、删除操作和更新操作中的至少一种；最后根据已同步数据，更新同步水位线。本发明可以根据源端数据的操作事务日志，对目的端数据重演插入、删除和更新，并通过同步水位线监控同步进度，确保目的端数据和源端数据保持精准同步。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据同步方法、装置、电子设备及存储介质。

背景技术

为了使用ElasticSearch(ES，搜索分析引擎)提供的强大搜索功能，经常需要将传统的关系型数据库(DB)中的业务数据导入到ES中。在将DB的数据迁移至ES中之后，当DB(源端)上的源端数据发生变化(新增、删除和更新)时，需要将这些变化在ES(目的端)中的对应索引上进行重演，使DB的源端数据与ES中的目的端数据保持一致，以确保ES的搜索准确性。

而如何精准同步源端数据和目的端数据，是一个亟需解决的问题。

发明内容

为了克服上述问题和缺陷，本发明的目的是提供一种数据同步方法、装置、电子设备及存储介质，可以根据源端数据的操作事务日志，对目的端数据重演插入、删除和更新等操作，使目的端数据和源端数据保持精准同步。

为了实现上述目的，本发明第一方面提供一种数据同步方法，包括：

获取源端数据的操作事务日志；

根据操作事务日志，得到操作事务信息集，操作事务信息集包括多个操作事务信息，操作事务信息包括数据对象标识、操作事务标识、操作事务类型、数据对象旧值和数据对象新值；

根据操作事务信息集，对目的端数据进行同步操作，得到已同步数据，已同步数据与源端数据相同，同步操作包括插入操作、删除操作和更新操作中的至少一种；

根据已同步数据，更新同步水位线，同步水位线用于表征目的端数据与源端数据之间的同步进度。

可选地，操作事务信息集为结构化数据表，同一操作事务信息相关联的数据对象标识、操作事务标识、操作事务类型、数据对象旧值和数据对象新值，记载在结构化数据表的同一行上。

可选地，源端数据包括至少一个源端数据表，根据操作事务日志，得到操作事务信息集的步骤，还包括：

判断源端数据表中是否存在唯一列；唯一列上各单元格的数据均不相同；

若是，则将唯一列中上各单元格的数据，分别填入到数据对象旧值所在列的不同单元格中；若否，则将源端数据表中的一行数据，填入到结构化数据表中数据对象旧值所在列的一个单元格中。

可选地，根据操作事务信息集，对目的端数据进行同步操作的步骤，包括：

根据操作事务信息集，在数据对象旧值所在列的数据中，确定目标列值；

根据目标列值，在目的端数据的表中确定目标行；

将目标行上的数据确定为待同步数据，并对待同步数据进行删除操作或更新操作。

可选地，根据目标列值，在目的端数据的表中确定目标行的步骤，包括：

当目标列值来自唯一列，且目标列值的类型为非字符串类型时，根据目标列值在目的端数据的表中确定目标行。

可选地，根据目标列值，在目的端数据的表中确定目标行的步骤，包括：