[发明专利]搭建异构数据库的方法、装置、设备及可读存储介质

说明书

本公开提供一种搭建异构数据库的方法、装置、设备及可读存储介质，方法包括获取待同步数据，其中，所述待同步数据包括至少一个数据库的业务数据和/或日志文件；将所述待同步数据同步至数据中转站；将所述数据中转站中的所述待同步数据同步至目标数据库。本公开提供的方法、装置、设备及计算机可读存储介质简化了异构数据库同步的过程，搭建了一个相对通用，代码耦合度比较低的异构数据库架构。

技术领域

本公开涉及搭建数据库技术，尤其涉及一种搭建异构数据库的技术，属于通信领域。

背景技术

异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，几个数据库系统在加入异构数据库系统之前本身就已经存在，每个数据库系统有自己的应用特性、完整性控制和安全性控制。

现有的客服系统通过同步操作来实现异构数据库，在数据库中直接进行业务数据更新，将数据库中的内容传输到ElasticSearch。

但是，这种方式的效率太低，在每次对数据库进行改动时，都需要对代码进行修改，代码耦合度非常高；并且需要对数据库和目标数据库的操作进行一次手工“转译”操作，工作量很大。

发明内容

本公开提供一种搭建异构数据库的方法、装置、设备及计算机可读存储介质，以解决不通用、代码耦合度高、工作量很大的问题

本公开的第一个方面是提供一种方法，包括：

获取待同步数据，其中，所述待同步数据包括业务数据和/或日志文件；

将所述待同步数据同步至数据中转站；

将所述数据中转站中的所述待同步数据同步至目标数据库。

将所述数据中转站中的所述待同步数据同步至目标数据库。

可选的，所述将所述待同步数据同步至数据中转站，包括：

通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储；

通过Logstash工具将所述日志文件同步到Kafka中进行存储。

可选的，所述通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储，包括：

通过DTS创建同步作业；

配置所述业务数据所属数据库的源实例信息与Kafka目标实例信息的同步链路连接信息；

基于所述同步链路连接将所述业务数据同步至所述Kafka中。

可选的，所述通过Logstash工具将所述日志文件同步到Kafka中进行存储，包括：

通过filebeat提取所述日志文件中的数据得到日志记录；

通过所述logstash工具将所述日志记录同步至所述kafka中进行存储。

可选的，所述将所述数据中转站中的所述待同步数据同步至目标数据库包括：

将所述kafka中存储的待同步数据同步至ES数据库。

可选的，所述将所述kafka中存储的待同步数据同步至ES数据库，包括：

通过所述kafka中的生产者根据预先设置的topic获取所述待同步数据；

通过所述kafka中的消费者根据预先订阅的topic发布所述topic对应的所述待同步数据，以使Kafka connect将所述待同步数据传输到ES数据库。

本公开的另一个方面是提供一种装置，包括：