[发明专利]redis增量复制方法及装置、终端设备和存储介质

说明书

本发明提供了一种redis增量复制方法及装置、终端设备和存储介质，其中，redis增量复制方法中包括：对第一redis集群各节点进行实时监控；将监控到的第一redis集群各节点执行的命令输出至日志；对各节点的日志信息进行收集并按照时序进行存储；读取存储的日志信息并生成指令于第二redis集群回放，完成对redis增量的复制。其在互联网通用的redis架构下，实现redis的增量复制，极大的减少终端设备和宽带的成本。

技术领域

本发明涉及数据库技术领域，尤指一种redis增量复制方法及装置、终端设备和存储介质。

背景技术

在互联网同城双活方案中，为确保备机房数据可用，需定期进行切换演练，确保备机房完全可用。切换演练结束后，需要把备机房的数据切回原来的主机房。Redis是一个性能极高、数据类型丰富、功能全面的KV(键，值)数据库。数据类型除了基本的string数据类型外还有hash、list、set、sorted set等数据结构类型，其将数据存储在内存，直接在内存中读取数据进行相应的操作处理，由于内存的数据读写速度要高出磁盘几个数量级，redis数据库通过将数据存储在内存能够极大地提高数据的处理效率。

在互联网的常规架构下，数据层主要由mysql和redis组成，mysql本身自带增量复制，然而缓存redis本身不支持增量同步，持久化文件也没有类似mysql位置点的概念，即这一过程中redis数据不能增量复制到原来的主机房，需要全量同步。而全量同步耗时长、占带宽、消耗大量IO资源，无法短时间内实现机房回切，成为了机房回切的最短板。

目前，在没有大量改造redis源码的情况下，没有通用的增量复制方案。为此国内阿里巴巴将redis进行了大量的改造，实现redis增量复制。但是，必须在阿里云环境才可以使用，对于其他用户来说存在局限性，且费用高昂、数据隐私问题难以解决，若后期不使用阿里云产品技术，会出现架构需要大改、甚至下不了阿里云等问题。

发明内容

本发明的目的是提供一种redis增量复制方法及装置、终端设备和存储介质，有效解决现有技术中没有大量改造redis源码的情况下，redis数据不能增量复制的技术问题。

本发明提供的技术方案如下：

一种redis增量复制方法，包括：

对第一redis集群各节点进行实时监控；

将监控到的第一redis集群各节点执行的命令输出至日志；

对各节点的日志信息进行收集并按照时序进行存储；

读取存储的日志信息并生成指令于第二redis集群回放，完成对redis增量的复制。

在本技术方案中，在互联网通用的redis架构下，通过收集差异日志回放的方式实现redis的增量复制，极大的减少终端设备和宽带的成本。

进一步优选地，在所述将第一redis集群各节点执行的命令输出至日志之后，还包括对由预设指令形成的日志信息进行过滤的步骤；

在所述对各节点的日志进行收集并按照时序进行存储中，包括：对过滤后的各节点日志进行收集并按照时序进行存储。

在本技术方案中，在互联网通用的redis架构下，收集了第一redis集群各节点执行命令生成的日志之后，进一步将不需要的日志信息进行过滤，进而于第二redis集群中通过回放的方式实现redis的增量复制，极大的减少终端设备和宽带的成本，及减少了数据由第一redis集群切回第二redis集群的时间。

进一步优选地，在所述对由预设指令形成的日志信息进行过滤中，包括：使用开源组件logstash对由预设指令形成的日志信息进行过滤。