[发明专利]一种基于kafka的集群数据以及文件的同步方法及装置

摘要

本发明提供一种基于kafka的集群数据以及文件的同步方法及装置，所述方法包括：集群中某个节点接收并解析请求，集群中每个节点对应一个消费组；判断解析结果，根据解析结果，将热点数据发送到Kafka的热点数据存储topic或采用RandomAccessFile读取对应路径的文件流信息，封装文件json信息，将封装后的文件json信息发送并保存到Kafka的文件数据存储topic；集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。根据本发明的方案，只需要在集群项目中添加Kafka服务插件，减少项目的复杂度。实现将Kafka中的数据全部读取到集群的所有节点中，将热点数据刷新到服务内存中。实现集群服务器之间的热点数据共享以及文件的共享。