[发明专利]一种数据同步方法、装置及终端设备

说明书

本发明适用于数据传输技术领域，提供了一种数据同步方法、装置及终端设备，方法包括：部署关系型数据库的增量上报数据同步代理服务，并部署分布式发布订阅消息系统集群的落地分布式文件系统代理服务，当接收到写请求指令时，将数据写入关系型数据库中，通过增量上报数据同步代理服务将数据同步到分布式发布订阅消息系统集群，然后将分布式发布订阅消息系统集群的数据同步至分布式文件系统并保存。本发明实现了基于Flume从关系型数据库到分布式文件系统的数据存储，并且实现了数据同步时的读写分离，提高了数据读取速度。

技术领域

本发明属于数据传输技术领域，尤其涉及一种数据同步方法、装置及终端设备。

背景技术

Flume作为一个分布式的、可靠且可用的系统，用于有效地从许多不同的源收集，聚合和移动大量日志数据到集中式数据存储。并且，Flume可以实现从众多源中获取数据并经过通道发送到接收器端，可以支持多路复用和多级跳转。因此，Flume被广泛应用于不同领域。

然而，Flume没有提供和支持对关系型数据库的数据同步，也没有从关系数据库到非关系型数据库的数据存储的完整实现方法。

发明内容

有鉴于此，本发明实施例提供了一种数据同步方法、装置及终端设备，以解决现有技术中Flume没有提供和支持对关系型数据库的数据同步，也没有从关系数据库到非关系型数据库的数据存储的完整实现方法的问题。

本发明实施例的第一方面提供了一种数据同步方法，包括：

部署关系型数据库的增量上报数据同步代理服务；其中，所述增量上报数据同步代理服务用于使所述关系型数据库的数据增量同步到分布式发布订阅消息系统集群；

部署分布式发布订阅消息系统集群的落地分布式文件系统代理服务；其中，所述落地分布式文件系统代理服务用于使所述分布式发布订阅消息系统集群的数据存储到分布式文件系统；

当接收到写请求指令时，将数据写入所述关系型数据库中，通过增量上报数据同步代理服务将所述数据同步到分布式发布订阅消息系统集群；

将所述分布式发布订阅消息系统集群的所述数据同步至分布式文件系统并保存。

可选的，所述部署关系型数据库的增量上报数据同步代理服务之前，包括：

基于日志收集系统自定义source；

定义所述关系型数据库的增量同步的实现机制；

搭建所述分布式发布订阅消息系统和分布式文件系统集群。

可选的，部署关系型数据库的增量上报数据同步代理服务，包括

部署关系型数据库的增量上报数据同步代理服务，使所述关系型数据库根据实现机制，将数据增量同步到所述分布式发布订阅消息系统集群。

可选的，定义所述关系型数据库的增量同步的实现机制，包括：

读取数据库表的偏移量，记录在预设文件中；

若进程重启，则获取读取记录；

根据所述读取记录，继续读取的数据库表的偏移量并记录。

本发明实施例的第二方面提供了一种数据同步装置，包括：

第一部署模块，用于部署关系型数据库的增量上报数据同步代理服务；其中，所述增量上报数据同步代理服务用于使所述关系型数据库的数据增量同步到分布式发布订阅消息系统集群；

第二部署模块，用于部署分布式发布订阅消息系统集群的落地分布式文件系统代理服务；其中，所述落地分布式文件系统代理服务用于使所述分布式发布订阅消息系统集群的数据存储到分布式文件系统；