[发明专利]一种基于kafka的集群数据以及文件的同步方法及装置

说明书

本发明提供一种基于kafka的集群数据以及文件的同步方法及装置，所述方法包括：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；判断解析结果，根据解析结果，将热点数据发送到Kafka的热点数据存储topic或采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic；集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。根据本发明的方案，只需要在集群项目中添加Kafka服务插件，减少项目的复杂度。实现将Kafka中的数据全部读取到集群的所有节点中，将热点数据刷新到服务内存中。实现集群服务器之间的热点数据共享以及文件的共享。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于kafka的集群数据以及文件的同步方法及装置。

背景技术

随着分布式系统的发展，由分布式集群完成一个共同的项目的应用场景越来越广泛，需要在分布式集群中对项目的数据以及文件进行同步、共享。现有技术中实现集群中对项目的数据以及文件进行同步、共享的方式包括基于NAS服务实现集群间文件共享、基于Redis实现热点数据共享。

基于NAS服务实现集群间文件共享的方式中，集群中所有的服务全部链接NAS服务，文件上传或读取时都需要通过NAS服务读写文件，服务间不关注附件、文件等的同步，并且使用基于NAS服务实现集群间文件共享的方式，适用于规模较大的项目。对于项目规模较小的项目，又没有NAS共享服务器时，集群间缺少能够实现文件同步的简单、实用的解决方法。

基于Redis实现热点数据共享的方式，集群中所有服务都连接Redis集群，读写热点数据需要通过Redis过渡，实现数据共享。但在存储有难度的数据结构或者数据比较大的数据时，需要采用内存中存储的热点数据，集群间的同步，使用Redis实现并不适合。

也就是说，现有的基于NAS服务实现集群间文件共享、基于Redis实现热点数据共享的方案，对于项目规模不大，在项目中没有NAS服务器的项目，需要实现文件在集群中的共享，并且还需要实现集群节点间的内存中热点数据共享，并不适用。

发明内容

为解决上述技术问题，本发明提出了一种基于kafka的集群数据以及文件的同步方法及装置，所述方法及装置，用以解决现有技术中一些无法通过NAS等共享服务器来实现数据文件共享的项目；项目规模不大，在项目中没有NAS服务器的项目或者无法通过NAS来实现数据文件以及热点数据共享的项目；项目规模不大，在项目中没有NAS服务器的项目，又需要实现文件在集群中的共享，并且还需要实现集群节点间的内存中热点数据共享的项目的数据及文件的同步的问题。

根据本发明的第一方面，提供一种基于kafka的集群数据以及文件的同步方法，所述方法包括以下步骤：

步骤S101：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；

步骤S102：判断解析结果，若解析结果为将热点数据刷新到内存中，进入步骤S103；若解析结果为文件共享，进入步骤S104；

步骤S103：将热点数据发送到Kafka的热点数据存储topic，进入步骤S105；

步骤S104：采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic，进入步骤S105；

步骤S105：集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。

进一步地，在所述步骤S101：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组之前，还包括：