[发明专利]数据同步方法、系统、装置、电子设备、存储介质

说明书

本申请提供一种数据同步方法、系统、装置、电子设备、计算机可读存储介质，方法包括：获取数据同步任务的配置信息；其中，配置信息包括待同步数据库的第一连接信息和工作者节点的第二连接信息；其中，待同步数据库包括主数据库和从数据库，工作者节点包括主工作者节点和从工作者节点；在任务列表页面展示数据同步任务；响应于针对数据同步任务的启动指定，基于第二连接信息向主工作者节点下发数据同步请求，使得主工作者节点基于第一连接信息执行数据同步任务；其中，数据同步请求包括第一连接信息。本申请方案，通过为每一数据同步任务分配主数据库和从数据库、主工作者节点和从工作者节点，可以降低数据同步方法失败的几率。

技术领域

本申请涉及计算机技术领域，特别涉及一种数据同步方法、系统、装置、电子设备、计算机可读存储介质。

背景技术

企业内部的搜索服务需要实时地对新增的业务数据进行查询与展示。通常而言，业务数据(比如：订单数据)写入到数据库后，需同步至消息队列中，以便消费者(consumer)设备(比如：搜索引擎服务)对新增的业务数据进行消费。对于业务复杂的企业而言，对多种业务数据进行同步以及保证数据同步的可靠性是至关重要的。

发明内容

本申请实施例的目的在于提供一种数据同步方法、系统、装置、电子设备、计算机可读存储介质，用于保证数据同步的可靠性。

一方面，本申请提供了一种数据同步方法，应用于控制终端，包括：

获取数据同步任务的配置信息；其中，所述配置信息包括待同步数据库的第一连接信息和工作者节点的第二连接信息；其中，所述待同步数据库包括主数据库和从数据库，所述工作者节点包括主工作者节点和从工作者节点；

在任务列表页面展示所述数据同步任务；

响应于针对所述数据同步任务的启动指定，基于所述第二连接信息向所述主工作者节点下发数据同步请求，使得所述主工作者节点基于所述第一连接信息执行所述数据同步任务；其中，所述数据同步请求包括所述第一连接信息。

在一实施例中，所述方法还包括：

响应于针对所述任务列表页面中任一数据同步任务的重配置指令，更改所述数据同步任务的配置信息。

在一实施例中，所述方法还包括：

接收所述工作者节点上报的工作异常信息，并记录到对应于所述数据同步任务的工作日志；

响应于针对所述数据同步任务的日志查看指令，展示所述工作日志。

在一实施例中，所述方法还包括：

如果所述工作异常信息指示任务失败时，在所述任务列表页面输出报警提示信息。

在一实施例中，所述方法还包括：

如果所述主工作者节点停止执行所述数据同步任务，向所述从工作者节点下发所述数据同步请求，使得所述从工作者节点基于所述第一连接信息执行所述数据同步任务。

一方面，本申请提供了一种数据同步系统，包括：

控制终端；

工作者节点，所述工作者节点包括主工作者节点和从工作者节点；

所述控制终端，用于获取数据同步任务的配置信息；其中，所述配置信息包括待同步数据库的第一连接信息和工作者节点的第二连接信息；其中，所述待同步数据库包括主数据库和从数据库；在任务列表页面展示所述数据同步任务；响应于针对所述数据同步任务的启动指定，基于所述第二连接信息向所述主工作者节点下发数据同步请求；

所述主工作者节点，与所述控制终端连接，用于依据所述第一连接信息获取所述待同步数据库的日志文件；将所述日志文件放入消息队列。