[发明专利]数据同步方法、系统、终端设备及存储介质

说明书

本申请提供了一种数据同步方法、系统、终端设备及存储介质，该方法包括：将目标数据库中的原表存储至关系型数据库中，对原表进行数据变更监测；若原表发生数据变更后生成新表，则记录原表的变更数据，根据变更数据生成数据变更日志；根据数据变更日志分别对新表和关系型数据库进行数据定位得到变更定位数据和待变更数据；根据变更定位数据对待变更数据进行数据变更，以保障目标数据库与关系型数据库之间的数据同步。本申请通过根据变更数据生成数据变更日志，根据数据变更日志对新表和关系型数据库进行数据定位，即无需在新表中添加时间戳和索引，也即无需变更新表的数据，也能达到对新表和关系型数据库的数据定位效果，提高了数据同步的准确性。

技术领域

本申请属于数据同步技术领域，尤其涉及一种数据同步方法、系统、终端设备及存储介质。

背景技术

随着大数据时代的到来，数据库由小型化向大型化发展，由集中式向分布式发展，海量数据的出现和数据结构的改变，给各行各业在管理和分析处理中带来了巨大的挑战，从而使得数据库的数据同步成为一个重要的研究方向。

关系型数据库广泛地应用于数据库中数据的存储和查询，关系型数据库是指采用了关系模型对数据进行组织的数据库，其以行和列的形式存储数据，现有技术中，为保障目标数据库与关系型数据库之间数据同步的准确性，均是通过在目标数据库中的新表上添加时间戳和索引，通过时间戳进行变更数据的定位，并根据变更数据的定位结果对关系型数据库进行数据变更。

现有的目标数据库与关系型数据库的数据同步过程中，由于需要对新表添加时间戳和索引，容易导致新表的数据变化，进而降低了数据存储和数据同步的准确性。

发明内容

本申请实施例提供了一种数据同步方法、系统、终端设备及存储介质，旨在解决现有的目标数据库与关系型数据库的数据同步过程中，由于需要对新表添加时间戳和索引，所导致的数据同步准确性差的问题。

第一方面，本申请实施例提供了一种数据同步方法，所述方法包括：

将目标数据库中的原表存储至关系型数据库中，并对所述原表进行数据变更监测；

若所述原表发生数据变更后生成新表，则记录所述原表的变更数据，并根据所述变更数据生成数据变更日志；

根据所述数据变更日志分别对所述新表和所述关系型数据库进行数据定位，得到变更定位数据和待变更数据，所述变更定位数据是所述新表对应于所述原表的变化数据，所述待变更数据是所述变更数据在所述关系型数据库中对应的存储数据；

根据所述变更定位数据对所述待变更数据进行数据变更，以保障所述目标数据库与所述关系型数据库之间的数据同步。

本申请实施例与现有技术相比存在的有益效果是：通过根据变更数据生成数据变更日志，并根据数据变更日志分别对新表和关系型数据库进行数据定位得到变更定位数据和待变更数据的设计，即无需在新表中添加时间戳和索引，也即无需变更新表的数据，也能达到对新表和关系型数据库的数据定位效果，提高了数据同步的准确性。

进一步地，所述记录所述原表的变更数据，并根据所述变更数据生成数据变更日志，包括：

将所述原表与所述新表进行信息比对，并根据信息比对结果获取所述原表与所述新表之间每一行数据的变更信息，得到所述变更数据，所述变更数据包括所述变更信息在所述原表中对应的被变更位置和所述变更信息在所述新表中对应的表信息；

根据所述变更数据生成binlog日志，得到所述数据变更日志。

进一步地，所述根据所述数据变更日志分别对所述新表和所述关系型数据库进行数据定位，得到变更定位数据和待变更数据，包括：

获取所述数据变更日志中的SQL语句信息，并根据所述SQL语句信息对所述新表对应的表信息进行定位，得到所述变更定位数据；