[发明专利]关系型数据库和数据仓库的数据同步方法、装置及设备

权利要求书

1.一种关系型数据库和数据仓库的数据同步方法，其特征在于，包括：

实时获取来自关系型数据库的二进制日志文件；

将所述二进制日志文件进行解析，生成多条数据更新记录；

将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；

根据所述数据更新记录生成同步任务；以及

根据所述同步任务将所述多条数据更新记录同步到数据仓库中。

2.如权利要求1所述的方法，其特征在于，还包括：

在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。

3.如权利要求1-2中任一所述的方法，其特征在于，还包括：

在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。

4.如权利要求1-3中任一所述的方法，其特征在于，将所述多个数据更新记录分别传输到分布式发布订阅消息系统的多个分区中包括：

获取所述关系型数据库中的多个数据表的哈希值；以及

将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。

5.如权利要求1-4中任一所述的方法，其特征在于，根据所述数据更新记录生成同步任务包括：

将分区中的所述数据更新记录传输到缓存中；以及

根据所述更新记录生成所述同步任务。

6.如权利要求1-5中任一所述的方法，其特征在于，根据所述同步任务将所述多条数据更新记录同步到数据仓库中包括：

将生成的多个同步任务合并为同步任务队列；

按照预定的规则通过所述数据更新记录生成同步任务和同步任务队列；以及

基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中。

7.如权利要求1-6中任一所述的方法，其特征在于，基于所述同步任务队列将所述多条数据更新记录同步到数据仓库中包括：

加载所述同步任务队列；以及

依次执行同步任务队列中的同步任务，以便将所述多条数据更新记录同步到数据仓库。

8.一种关系型数据库和数据仓库的数据同步装置，其特征在于，包括：

日志模块，用于实时获取来自关系型数据库的二进制日志文件；

记录模块，用于将所述二进制日志文件进行解析，生成多条数据更新记录；

传输模块，用于将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；

任务模块，用于根据所述数据更新记录生成同步任务；以及

同步模块，用于根据所述同步任务将所述多条数据更新记录同步到数据仓库中。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。