[发明专利]一种针对电采集系统的Kafka的消息系统

说明书

本发明公开了一种针对电采集系统的Kafka的消息系统，所述针对电采集系统的Kafka的消息系统多个Broker服务器、Topic和消息，不同类型的消息被存储到不同的Topic上，所有Topic被存储在不同的Broker服务器上。以解决现有技术不能满足海量数据高吞吐率的问题。

技术领域

本发明涉及计算机领域，尤其涉及一种针对电采集系统的Kafka的消息系统。

背景技术

既有的消息系统或者对消息传送的可靠性提供了较高的保证，由此带来较大的负担，不能满足海量数据高吞吐率的要求。

发明内容

本发明要解决的技术问题是：提供一种针对电采集系统的Kafka的消息系统，以解决现有技术不能满足海量数据高吞吐率的问题。

本发明的技术方案是：一种针对电采集系统的Kafka的消息系统，所述针对电采集系统的Kafka的消息系统多个Broker服务器、Topic和消息，不同类型的消息被存储到不同的Topic上，所有Topic被存储在不同的Broker服务器上。

进一步地，所述Topic采用log文件形式存储。

进一步地，所述消息采用Pull模式发送。

本发明的有益效果是：

与现有技术相比，本发明通过将不同类型的消息存储到不同的Topic上，所有Topic被存储在不同的Broker服务器上，使得数据吞吐量显著提高。

附图说明

图1为本发明的结构示意图；

图中：1Broker服务器、2Topic、3消息。

具体实施方式

下面结合附图及具体的实施例对发明进行进一步介绍：

参考图1，一种针对电采集系统的Kafka的消息系统，所述针对电采集系统的Kafka的消息系统多个Broker服务器1、Topic2和消息3，不同类型的消息3被存储到不同的Topic2上，所有Topic2被存储在不同的Broker服务器1上。使得数据吞吐量显著提高。

进一步地，所述Topic2采用log文件形式存储。消息队列是以log文件的形式存储，消息生产者只能将消息添加到既有的文件尾部，没有任何ID信息用于消息的定位，完全依靠文件内的位移，因此消息的使用者只能依靠文件位移顺序读取消息，这样也就不需要维护复杂的支持随即读取的索引结构。

进一步地，所述消息3采用Pull模式发送。使用Pull模式派发消息，消息的使用情况，比如是否还有consumer没有读取，是否重复读取等，在Broker端也完全不跟踪维护，消息的过期处理简单的由定时器定时删除（比如保留7天），由此简化各种消息跟踪维护的开销。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。