[发明专利]数据同步方法、装置、设备及存储介质

说明书

本申请公开了一种数据同步方法、装置、设备及存储介质，通过源数据库中待同步业务数据的数据表，生成数据库实体关系模型和目标索引表，从而能够利用标准SQL根据数据库的基础技术和数据库的元数据进行数据同步设计；并根据目标索引表中的主键索引关系，将源数据库的数据记录同步至数据中台，数据记录包含待同步业务数据；以及根据数据库实体关系模型，还原数据记录所对应的实体关系，以完成源数据库到数据中台的数据同步，从而可以在任何兼容标准SQL的数据库下执行数据同步工作，有效避免数据中台的复杂度随着数据源种类的增多而增大的问题，降低数据中台的复杂度。

技术领域

本申请涉及数据同步技术领域，尤其涉及一种数据同步方法、装置、设备及存储介质。

背景技术

通用数据同步方法使针对数据中台离线数仓数据的同步场景所提出的数据同步方法，解决现有数据中台需要根据不同数据源使用不同的工具创建ETL过程进行数据同步的难点。

目前，数据中台会根据数据源的不同采用不同的技术架构实现。比如，针对MySQL数据源，采用canal+kafka的数据采集架构，对MySQL的Binlog日志文件进行解析获取数据记录写入数据仓库；针对Oracle数据库，采用Oracle公司的Oracle GoldenGate工具完成数据同步。可以预见，随着数据中台接入的数据源种类增多，需要引入更多工具才能完成数据源到数据仓库的数据同步，使得数据中台的整体复杂度增加，不利于日常的运维管理。

发明内容

本申请提供了一种数据同步方法、装置、设备及存储介质，以解决当前数据同步场景中数据中台的复杂度随着数据源种类的增多而增大的技术问题。

为了解决上述技术问题，第一方面，本申请实施例提供了一种数据同步方法，包括：

根据源数据库中待同步业务数据的数据表，生成数据库实体关系模型和目标索引表，数据库实体关系模型用于表征源数据库中数据实体之间的实体关系，目标索引表用于记录源数据库的第一数据主键与同步到数据中台后的第二数据主键之间的主键索引关系；

根据目标索引表中的主键索引关系，将源数据库的数据记录同步至数据中台，数据记录包含待同步业务数据；

根据数据库实体关系模型，还原数据记录所对应的实体关系，以完成源数据库到数据中台的数据同步。

本实施例通过源数据库中待同步业务数据的数据表，生成数据库实体关系模型和目标索引表，以得到源数据库中数据实体之间的实体关系，以及得到记录源数据库的第一数据主键与同步到数据中台后的第二数据主键之间的主键索引关系，从而能够利用标准SQL根据数据库的基础技术和数据库的元数据进行数据同步设计；并根据目标索引表中的主键索引关系，将源数据库的数据记录同步至数据中台，数据记录包含待同步业务数据；以及根据数据库实体关系模型，还原数据记录所对应的实体关系，以完成源数据库到数据中台的数据同步，从而可以在任何兼容标准SQL的数据库下执行数据同步工作，而无需因数据源不同而采用不同工具进行数据同步，也无需借助数据库日志记录进行同步，有效避免数据中台的复杂度随着数据源种类的增多而增大的问题，降低数据中台的复杂度。

在一实施例中，根据源数据库中待同步业务数据的数据表，生成数据库实体关系模型和目标索引表，包括：

根据业务关系，确定源数据库中的待同步业务数据对应的数据表；

根据数据表，利用数据库工具DBeaver，创建数据库实体关系模型；

根据数据库，利用预设的数据库建表语句，创建目标索引表。

在一实施例中，根据数据表，利用数据库工具DBeaver，创建数据库实体关系模型，包括：

利用数据库工具DBeaver，将数据表的表结构移植至数据中台的模型数据库；