[发明专利]数据同步方法、装置、设备及存储介质

说明书

本公开提供了一种数据同步方法、装置、设备及存储介质。该方法包括：接收SQL数据库中的变更日志，其中，变更日志包括变更数据信息；确定变更日志记录的数据操作类型；当数据操作类型为更新操作时，基于变更日志的主键，查询对应于主键的更新后的数据文件，并基于主键，在Hadoop分布式文件系统HDFS中查询对应于主键的原数据文件，在HDFS中，基于Hbase写入操作，使用更新后的数据文件替换原数据文件。该方法可以提高数据库的可用性及稳定性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据同步方法、装置、设备及存储介质。

背景技术

SQL服务器中现有数据同步数据库数据的方法是循环扫描数据库日志，每次获取主服务器上数据库中一定量的有信息表的变更日志，当变更日志的操作类型为修改操作时，由于变更日志中只记录了相对于原来数据变化的十六进制串，在进行修改操作时，需要先把主键和发生变化的数据表进行解析，然后使用主键去数据表中查询所有字段数据，从而获取发生变化的数据信息，然后再将解析好的数据分发到计算机网络的其他节点，实现数据更新。

上述方法当发生修改操作时，需要回访SQL数据库中的数据表以获取变更后的数据信息，会对数据库造成较大的性能开销，影响数据库系统的可用性及稳定性。

相关技术中使用拉链表存储数据，导致数据无法实时同步更新。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据同步方法、装置、设备及存储介质，可以提高数据库的可用性及稳定性。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种数据同步方法，包括：接收SQL数据库中的变更日志，其中，变更日志包括变更数据信息；确定变更日志记录的数据操作类型；当数据操作类型为更新操作时，基于变更日志的主键，查询对应于主键的更新后的数据文件，并基于主键，在Hadoop分布式文件系统HDFS中查询对应于主键的原数据文件，在HDFS中，基于Hbase写入操作，使用更新后的数据文件替换原数据文件。

在一些实施例中，上述方法还包括：当数据操作类型为新增操作时，基于Hbase写入操作，将变更日志的主键及其对应的数据文件存储于HDFS中。

在一些实施例中，上述方法还包括：当操作类型为删除操作时，在HDFS中，标识变更日志的主键对应的数据为被删除。

在一些实施例中，上述方法还包括：基于Hive读操作，从HDFS中读取数据文件。

在一些实施例中，HDFS中存储的数据文件为十六进制数据文件。

在一些实施例中，基于Hive读操作，从HDFS中读取数据文件，包括：基于Hive读操作，通过预配置的解析器，将数据文件转换为十进制数据，并读出转换后的数据文件。

在一些实施例中，接收SQL数据库中的变更日志包括：接收周期获取的SQL数据库中的变更日志。

根据本公开的另一个方面，提供一种数据同步装置，包括：日志接收模块，用于接收SQL数据库中的变更日志，其中，变更日志包括变更数据信息；类型确定模块，用于确定变更日志记录的数据操作类型；文件替换模块，用于当数据操作类型为更新操作时，基于变更日志的主键，查询对应于主键的更新后的数据文件，并基于主键，在Hadoop分布式文件系统HDFS中查询对应于主键的原数据文件，在HDFS中，基于Hbase写入操作，使用更新后的数据文件替换原数据文件。