[发明专利]与Redis服务器进行数据同步的方法、装置和系统

权利要求书

1.一种与Redis服务器进行数据同步的方法，用于将Redis服务器中的数据同步到磁盘中，其包括：

接收Redis服务器发送的全量数据；其中，所述全量数据为指定时刻存储在Redis服务器上的全部数据的镜像文件；

对所述全量数据进行解析及存储，在解析及存储所述全量数据的过程中，通过日志文件记录接收到的来自所述Redis服务器的增量数据，直至完成与所述Redis服务器之间的数据同步；

其中，当所述全量数据解析并存储完毕后，开始解析并存储所述日志文件中记录的增量数据；

以及，通过以下方式确定是否完成与所述Redis服务器之间的数据同步：

在解析并存储所述日志文件中记录的增量数据的过程中，如果进一步接收到来自所述Redis服务器的增量数据，则计算所述来自所述Redis服务器的增量数据中包含的同步位移与所述日志文件中已解析的增量数据中包含的同步位移之间的位移差，当所述位移差小于预设阈值时，确定已完成与所述Redis服务器之间的数据同步。

2.根据权利要求1所述的方法，其中，当确定已完成与所述Redis服务器之间的数据同步后，如果进一步接收到来自所述Redis服务器的增量数据，则直接存储所述增量数据。

3.根据权利要求1所述的方法，其中，所述全量数据为所述Redis服务器根据接收到的同步请求生成的数据快照文件，在解析并存储所述数据快照文件的过程中，通过多线程并行运行的方式进行解析，并对解析结果为指定类型的数据通过批量写入的方式进行存储，其中，指定类型的数据包括：hash，set,list，和/或zset类型的数据。

4.根据权利要求1所述的方法，其中，所述日志文件为自定义格式的文件，其通过不同的日志项分别记录各条增量数据，每个日志项中包含该条增量数据及其对应的同步位移，以及用于对该日志项进行数据校验的校验码。

5.根据权利要求1-4任一项所述的方法，其中，通过SSDB服务器存储所述全量数据及增量数据。

6.一种与Redis服务器进行数据同步的装置，用于将Redis服务器中的数据同步到磁盘中，其包括：

接收模块，适于接收Redis服务器发送的全量数据以及增量数据；其中，所述全量数据为指定时刻存储在Redis服务器上的全部数据的镜像文件；

第一存储模块，适于对所述接收模块接收到的全量数据进行解析及存储；

日志模块，适于在解析及存储所述全量数据的过程中，通过日志文件记录所述接收模块接收到的来自所述Redis服务器的增量数据，直至完成与所述Redis服务器之间的数据同步；

第二存储模块，适于在所述第一存储模块对所述全量数据解析并存储完毕后，开始解析并存储所述日志模块中记录的增量数据；

其中，用于确定是否完成与所述Redis服务器之间的数据同步的判断模块，在所述第二存储模块解析并存储所述日志文件中记录的增量数据的过程中，如果所述接收模块进一步接收到来自所述Redis服务器的增量数据，则所述判断模块计算所述来自所述Redis服务器的增量数据中包含的同步位移与所述日志文件中已解析的增量数据中包含的同步位移之间的位移差，当所述位移差小于预设阈值时，确定已完成与所述Redis服务器之间的数据同步。

7.根据权利要求6所述的装置，其中，当确定已完成与所述Redis服务器之间的数据同步后，如果所述接收模块进一步接收到来自所述Redis服务器的增量数据，则直接将所述增量数据存储在所述第二存储模块中。

8.根据权利要求6所述的装置，其中，所述全量数据为所述Redis服务器根据接收到的同步请求生成的数据快照文件，所述第一存储模块通过多线程并行运行的方式解析所述数据快照文件，并对解析结果为指定类型的数据通过批量写入的方式进行存储，其中，指定类型的数据包括：hash，set,list，和/或zset类型的数据。