[发明专利]ES集群的数据迁移方法、系统、电子设备及存储介质

说明书

本申请公开了一种ES集群的数据迁移方法，所述方法包括：若接收到数据迁移指令，则根据所述数据迁移指令确定ES源集群，并查询与所述ES源集群关联的客户端；向所述客户端发起双写指令，以便控制所述客户端将所述ES源集群的增量数据写入目标位置；控制所述ES源集群生成索引的快照数据；根据所述快照数据在ES目标集群进行快照重建，并根据所述增量数据对所述ES目标集群执行增量数据重放操作，以便完成数据迁移，本申请能够在保证数据完整性的前提下实现ES集群的在线数据迁移。本申请还公开了一种ES集群的数据迁移系统、一种电子设备及一种存储介质，具有以上有益效果。

技术领域

本申请涉及数据迁移技术领域，特别涉及ES集群的数据迁移方法、系统、电子设备及存储介质。

背景技术

ES(Elasticsearch)是一款开源的用于搜索的组件。在实际使用中，ES的索引由于各种各样的原因需要做集群间的数据迁移，比如从大集群中迁移到单独的集群、大的集群版本升级、源集群硬件老化等。

由于ES集群中随时可能收到客户端发送的请求，为了保证数据完整性，相关技术中需要在ES集群停机的情况下进行离线的数据迁移，离线数据迁移影响搜索服务的正常运行。

因此，如何在保证数据完整性的前提下实现ES集群的在线数据迁移是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种ES集群的数据迁移方法、系统、电子设备及存储介质，能够在保证数据完整性的前提下实现ES集群的在线数据迁移。

为解决上述技术问题，本申请提供一种ES集群的数据迁移方法，该ES集群的数据迁移方法包括：

若接收到数据迁移指令，则根据所述数据迁移指令确定ES源集群，并查询与所述ES源集群关联的客户端；

向所述客户端发起双写指令，以便控制所述客户端将所述ES源集群的增量数据写入目标位置；

控制所述ES源集群生成索引的快照数据；

根据所述快照数据在ES目标集群进行快照重建，并根据所述增量数据对所述ES目标集群执行增量数据重放操作，以便完成数据迁移。

可选的，根据所述增量数据对所述ES目标集群执行增量数据重放操作，包括：

查询所述ES源集群记录的所述客户端的请求发起顺序，按照所述请求发起顺序对所述ES目标集群执行所述增量数据对应的增量数据重放操作。

可选的，在向所述客户端发起双写指令之后，还包括：

判断所述客户端是否返回双写功能开启的响应信息；

若是，则执行所述控制所述ES源集群生成索引的快照数据的步骤。

可选的，在根据所述增量数据对所述ES目标集群执行增量数据重放操作之后，还包括：

查询所述增量数据的剩余数据量；其中，所述剩余数据量用于描述所述增量数据中未进行增量数据重放操作的数据大小；

判断所述剩余数据量是否大于0且小于配置值；

若是，则向所述客户端发起停止索引请求的api调用，以便阻塞所述客户端的请求。

可选的，在向所述客户端发起停止索引请求的api调用之后，还包括：

判断所述增量数据是否全部重放完毕；

若是，则将所述客户端指向的集群由所述ES源集群切换至所述ES目标集群。

可选的，在将所述客户端指向的集群由所述ES源集群切换至所述ES目标集群之后，还包括：

解除对所述客户端的请求的阻塞。