[发明专利]一种基于kafka的集群数据以及文件的同步方法及装置

权利要求书

1.一种基于kafka的集群数据以及文件的同步方法，其特征在于，包括以下步骤：

步骤S101：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；

步骤S102：判断解析结果，若解析结果为将热点数据刷新到内存中，进入步骤S103；若解析结果为文件共享，进入步骤S104；

步骤S103：将热点数据发送到Kafka的热点数据存储topic，进入步骤S105；

步骤S104：采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic，进入步骤S105；

步骤S105：集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。

2.如权利要求1所述的基于kafka的集群数据以及文件的同步方法，其特征在于，在所述步骤S101：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组之前，还包括：

通过浏览器或外部系统对接集群中某个节点的服务，发送热点数据共享请求或文件共享请求。

3.如权利要求1所述的基于kafka的集群数据以及文件的同步方法，其特征在于，所述步骤S104中，所述封装文件json信息包括文件的文件路径、名称、文件流、流位置。

4.如权利要求1所述的基于kafka的集群数据以及文件的同步方法，其特征在于，对于通过消费得到的文件数据，节点根据字符串信息解析文件路径、文件流位置、文件名称，然后生成对应的文件，并将生成的文件写入对应的目录。

5.一种基于kafka的集群数据以及文件的同步装置，其特征在于，所述装置包括：

请求解析模块：配置为集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；

判断模块：配置为判断解析结果；

第一存储模块：配置为将热点数据发送到Kafka的热点数据存储topic；

第二存储模块：配置为采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic；

数据获取模块：配置为集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。

6.如权利要求5所述的基于kafka的集群数据以及文件的同步装置，其特征在于，包括接收请求模块，配置为通过浏览器或外部系统对接集群中某个节点的服务，发送热点数据共享请求或文件共享请求。

7.如权利要求5所述的基于kafka的集群数据以及文件的同步装置，其特征在于，所述封装文件json信息包括文件的文件路径、名称、文件流、流位置。

8.如权利要求5所述的基于kafka的集群数据以及文件的同步装置，其特征在于，对于通过消费得到的文件数据，节点根据字符串信息解析文件路径、文件流位置、文件名称，然后生成对应的文件，并将生成的文件写入对应的目录。

9.一种基于kafka的集群数据以及文件的同步系统，其特征在于，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1-4之任一项所述的基于kafka的集群数据以及文件的同步方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-4之任一项所述的基于kafka的集群数据以及文件的同步方法。