[发明专利]一种分布式弹性可扩展信息发布系统及其控制方法

说明书

技术领域

本发明属于计算机通信领域，特别涉及一种分布式弹性可扩展信息发布系统及其控制方法。

背景技术

现阶段已经有很多在计算机或者在移动端传递信息的方式，例如短信，手机应用内信息，电子邮件，电话，或者计算机上的聊天软件等。目前这些软件提供的功能主要是人与人之间传递信息。在这些功能以及应用出现之后，一些公司开始提供批量发布信息的接口或者工具。例如人们利用短信接口可以批量发送短信，利用电子邮件接口可以批量发送电子邮件。当下的这些应用局限于单一用户或者极少量用户发送，当有大批量用户发送大批量信息的时候，信息发布服务器无法承担海量的发送请求，只能通过临时增加服务器的方式来扩充容量。而且一旦服务器发生故障，整个系统将处于停滞状态。如果服务器只有一台的话，则无法服务更多的用户，达到服务的瓶颈。在该服务有大批量用户，或者在用户高速增长的情况下，服务难以保证信息可以被及时的传递到客户端，扩充服务器容量的过程过于缓慢。

发明内容

发明目的：本发明的目的在于针对现有技术的不足，提供一种适用于大批量用户，能够及时将信息传递到客户端的一种分布式弹性可扩展信息发布系统。

技术方案：本发明提供了一种分布式弹性可扩展信息发布系统，包括弹性部署模块、消息预处理集群、Kafka集群和消息分发集群；所述消息预处理集群用于将用户发来的请求发送到集群中空闲的结点进行处理，并向Kafka集群发送Kafka消息；所述Kafka集群用于接收Kafka消息并将接收到的Kafka消息发布到消息分发集群中对应的结点上；所述消息分发集群根据消息的类型通过对应的发送工具消息发送到对应的终端；所述弹性部署模块用于监控消息预处理集群、Kafka集群和消息分发集群中每个结点的工作情况，并根据每个结点的工作情况增加或者更换新的结点，同时向用户发出警报，其中每个结点为一个虚拟机。

进一步，所所述消息预处理集群包括一个消息预处理模块负载均衡服务器和多个可拓展消息预处理模块，该模块可根据请求量的增多而增多，所述每个可拓展消息预处理模块部署在一个虚拟机上，消息预处理模块负载均衡服务器用于查找集群中空闲的可拓展消息预处理模块，并将接收到的用户请求发送到可拓展消息预处理模块，所述可拓展消息预处理模块对接收到的用户请求进行预先处理，并根据用户的请求发布Kafka消息；所述Kafka集群包括一个Kafka集群负载均衡服务器和多个可拓展Kafka结点，所述Kafka集群负载均衡服务器查找集群中空闲的可拓展Kafka结点，并将接收到的Kafka消息发送到空闲的可拓展Kafka结点，所述可拓展Kafka结点根据接收到的Kafka消息内容生成哈希码，并将生成的哈希码和Kafka消息发送到消息分发集群；所述消息分发集群中包括负载均衡服务器和多个可拓展消息分发模块，负载均衡服务器负责接收来自Kafka结点的请求，并根据消息分发集群中的可拓展消息分发模块负载情况，分发请求，如果找到低负载的模块，信息将被优先分配到低负载的模块上；所述可拓展消息分发模块根据接收到的消息的类型通过对应的发送工具发送信息。

进一步，所述消息预处理集群、Kafka集群和消息分发集群中的虚拟机同属于一个私有网络，并且每个集群相互通过Http协议访问。

本发明还提供了一种分布式弹性可扩展信息发布系统的控制方法，包括以下步骤：

步骤1：在信息发布服务器中设置多个虚拟机，并将多个虚拟机分配到消息预处理集群、Kafka集群和消息分发集群中；其中，消息预处理集群中的可拓展消息预处理模块、Kafka集群中的Kafka结点和消息分发集群中的可拓展消息分发模块分别被部署在不同的虚拟机中；

步骤2：消息预处理模块负载均衡服务器接收用户发来的请求，查找空闲的可拓展消息预处理模块，并将接收到的用户请求转移发送到空闲的可拓展消息预处理模块；

步骤3：可拓展消息预处理模块对接收到的用户请求进行处理，并且发布Kafka消息至Kafka集群；

步骤4：Kafka集群根据接收到的消息的内容生成成哈希，通过对哈希取模的方式将消息发布到相应的可拓展消息分发模块上；

步骤5：可拓展消息分发模块根据接收到的消息的类型通过相应的发送工具将信息发送到终端。