[发明专利]与Redis服务器进行数据同步的方法、装置和系统

说明书

本发明公开了一种与Redis服务器进行数据同步的方法、装置和系统。该方法包括：接收Redis服务器发送的全量数据；对全量数据进行解析及存储，并通过日志文件记录来自Redis服务器的增量数据，直至完成与Redis服务器之间的数据同步；其中，当全量数据解析并存储完毕后，开始解析并存储日志文件中记录的增量数据。采用本发明中的方法、装置和系统，即使在全量数据非常庞大、解析耗时很长的情况下也不会耽误增量数据的接收，由此能够确保数据同步的效率，且能够及时、全面地记录来自Redis服务器的全部增量数据，因此，确保了数据同步的可靠性。

技术领域

本发明涉及互联网技术领域，具体涉及一种与Redis服务器进行数据同步的方法、装置和系统。

背景技术

Redis存储方式能够灵活支持多种数据类型，因此，越来越多的在线业务开始采用Redis存储方式进行存储。但是，由于Redis存储方式需要占用大量的内存，导致可存储的空间非常有限，由此，迫切地需要将一些不常用的、重要性不高的业务迁移到其他的存储设备中，以便节省内存，提高机器利用效率。

由于Redis服务器中的数据量非常庞大，且Redis服务器上的业务数据经常更新，因此，在将Redis服务器中的业务数据迁移到其他存储设备的过程中，经常会出现Redis服务器上的原始数据还未复制完，就又接收到了新的更新数据，导致其他存储设备很难做到与Redis服务器之间的数据同步，由此无法实现业务的无缝迁移。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的与Redis服务器进行数据同步的方法、装置和系统。

根据本发明的一个方面，提供了一种与Redis服务器进行数据同步的方法，其包括：接收Redis服务器发送的全量数据；对全量数据进行解析及存储，并通过日志文件记录来自Redis服务器的增量数据，直至完成与Redis服务器之间的数据同步；其中，当全量数据解析并存储完毕后，开始解析并存储日志文件中记录的增量数据。

根据本发明的另一方面，提供了一种与Redis服务器进行数据同步的装置，其包括：接收模块，适于接收Redis服务器发送的全量数据以及增量数据；第一存储模块，适于对接收模块接收到的全量数据进行解析及存储；日志模块，适于通过日志文件记录接收模块接收到的来自Redis服务器的增量数据，直至完成与Redis服务器之间的数据同步；第二存储模块，适于在第一存储模块对全量数据解析并存储完毕后，开始解析并存储日志模块中记录的增量数据。

根据本发明的另一方面，提供了一种与Redis服务器进行数据同步的系统，其包括：Redis服务器以及上述的与Redis服务器进行数据同步的装置。

本发明提供的与Redis服务器进行数据同步的方法、装置和系统，能够在对Redis服务器发送的全量数据进行解析及存储的过程中，通过日志文件记录来自Redis服务器的增量数据，直至完成与Redis服务器之间的数据同步。其中，增量数据是指在生成上述全量数据之后进一步增加的数据，其包括在上述全量数据基础上的新增数据和/或修改数据。上述日志文件的主要作用在于：能够记录全量数据解析过程中收到的增量数据，使解析全量数据的过程与接收增量数据的过程能够同时进行。

由此可见，采用本发明中的方法、装置和系统，即使在全量数据非常庞大、解析耗时很长的情况下也不会耽误增量数据的接收，由此能够确保数据同步的效率。而且，由于Redis服务器中用于缓存最新数据的环形缓冲区被写满之后，会将原来的数据覆盖掉，因此，如果不能及时接收到来自Redis服务器的增量数据，则可能会发生数据丢失的情况，而本发明中的日志文件能够及时、全面地记录来自Redis服务器的全部增量数据，因此，确保了数据同步的可靠性。通过本发明中的方法、装置和系统能够实现业务的无缝迁移。