[发明专利]消息中间件数据处理方法、装置及系统

说明书

本申请实施例提供一种消息中间件数据处理方法、装置及系统，也可用于金融领域，方法包括：接收软负载均衡系统发送的消息，其中，所述消息是消息生产者与所述软负载均衡系统建立通信短连接后发送的；根据设定时间周期内接收到的所述消息所对应的消息生产者的数量，执行相应的网关集群容量调整操作，并在所述容量调整操作完成后与设定消息中间件建立通信长连接并将所述消息转发至所述消息中间件；本申请能够有效减少消息中间件的连接数和运行压力，保障消息中间件的工作性能。

技术领域

本申请涉及数据处理领域，也可用于金融领域，具体涉及一种消息中间件数据处理方法、装置及系统。

背景技术

现有技术中的消息中间件，例如Kafka，用来中转消息，消息生产者向kafka推送消息，消息的消费者从kafka订阅数据。通过引入kafka，可以解耦IT系统，通过消息的方式实现了异步作业。

发明人发现，kafka在实际使用中，会和每个消息生产者建立一个长连接，以快速接收消息。当生产者连接数不断增加时，对kafka的压力会不断增加，达到一定规模后会显著影响kafka的性能。

发明内容

针对现有技术中的问题，本申请提供一种消息中间件数据处理方法、装置及系统，能够有效减少消息中间件的连接数和运行压力，保障消息中间件的工作性能。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种消息中间件数据处理方法，包括：

接收软负载均衡系统发送的消息，其中，所述消息是消息生产者与所述软负载均衡系统建立通信短连接后发送的；

根据设定时间周期内接收到的所述消息所对应的消息生产者的数量，执行相应的网关集群容量调整操作，并在所述容量调整操作完成后与设定消息中间件建立通信长连接并将所述消息转发至所述消息中间件。

进一步地，所述根据设定时间周期内接收到的所述消息所对应的消息生产者的数量，执行相应的网关集群容量调整操作，包括：

监测设定时间周期内接收到的所述消息所对应的消息生产者的数量；

根据所述消息生产者数量与预设阈值的数值比较关系，增加相应数量的弹性网关或减少相应数量的弹性网关。

进一步地，在根据所述消息生产者数量与预设阈值的数值比较关系，增加相应数量的弹性网关或减少相应数量的弹性网关之后，包括：

将所述网关集群中弹性网关的变化数量发送至所述软负载均衡系统，以使所述软负载均衡系统根据所述弹性网关的变化数量更新均衡负载策略。

进一步地，所述将所述消息转发至所述消息中间件，包括：

将所述消息压入预设消息任务队列；

监测所述预设消息任务队列的体量大小是否超过预设阈值，若是，则将所述预设消息任务队列中所有消息一次性发送至所述消息中间件，否则持续将新接收到的消息压入所述预设消息任务队列。

第二方面，本申请提供一种消息中间件数据处理装置，包括：

消息接收模块，用于接收软负载均衡系统发送的消息，其中，所述消息是消息生产者与所述软负载均衡系统建立通信短连接后发送的；

网关调整模块，用于根据设定时间周期内接收到的所述消息所对应的消息生产者的数量，执行相应的网关集群容量调整操作，并在所述容量调整操作完成后与设定消息中间件建立通信长连接并将所述消息转发至所述消息中间件。

进一步地，所述网关调整模块包括：

消息生产着数量监测单元，用于监测设定时间周期内接收到的所述消息所对应的消息生产者的数量；