[发明专利]数据同步方法、装置、设备及存储介质

权利要求书

1.一种数据同步方法，其特征在于，包括：

接收SQL数据库中的变更日志，其中，所述变更日志包括变更数据信息；

确定所述变更日志记录的数据操作类型；

当所述数据操作类型为更新操作时，基于所述变更日志的主键，查询对应于所述主键的更新后的数据文件，并基于所述主键，在Hadoop分布式文件系统HDFS中查询对应于所述主键的原数据文件，在所述HDFS中，基于Hbase写入操作，使用所述更新后的数据文件替换所述原数据文件。

2.根据权利要求1所述的方法，其特征在于，还包括：

当所述数据操作类型为新增操作时，基于Hbase写入操作，将所述变更日志的主键及其对应的数据文件存储于所述HDFS中。

3.根据权利要求1所述的方法，其特征在于，还包括：

当所述操作类型为删除操作时，在所述HDFS中，标识所述变更日志的主键对应的数据为被删除。

4.根据权利要求1-3任一所述的方法，其特征在于，还包括：

基于Hive读操作，从所述HDFS中读取数据文件。

5.根据权利要求4所述的方法，其特征在于，所述HDFS中存储的数据文件为十六进制数据文件。

6.根据权利要求5所述的方法，其特征在于，基于Hive读操作，从所述HDFS中读取数据文件，包括：

基于Hive读操作，通过预配置的解析器，将所述数据文件转换为十进制数据，并读出转换后的数据文件。

7.根据权利要求1所述的方法，其特征在于，接收SQL数据库中的变更日志包括：接收周期获取的SQL数据库中的变更日志。

8.一种数据同步装置，其特征在于，包括：

日志接收模块，用于接收SQL数据库中的变更日志，其中，所述变更日志包括变更数据信息；

类型确定模块，用于确定所述变更日志记录的数据操作类型；

文件替换模块，用于当所述数据操作类型为更新操作时，基于所述变更日志的主键，查询对应于所述主键的更新后的数据文件，并基于所述主键，在Hadoop分布式文件系统HDFS中查询对应于所述主键的原数据文件，在所述HDFS中，基于Hbase写入操作，使用所述更新后的数据文件替换所述原数据文件。

9.根据权利要求8所述的装置，其特征在于，还包括：

文件存储模块，用于当所述数据操作类型为新增操作时，基于Hbase写入操作，将所述变更日志的主键及其对应的数据文件存储于所述HDFS中。

10.一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-7任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法。