[发明专利]消息处理方法以及消息处理装置

说明书

本发明公开了一种消息处理方法以及消息处理装置，涉及数据处理技术领域。其中的消息处理方法包括：消息处理客户端在进行当前消息处理的同时，向消息处理服务端发送消息请求以拉取消息；消息处理客户端将拉取到的消息存储在消息缓存队列中；消息处理客户端在当前消息处理结束后，对存储在消息缓存队列中的消息进行处理。本发明能够提升消息处理装置的吞吐率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种消息处理方法以及消息处理装置。

背景技术

消息处理装置是指支持与保障分布式应用程序之间收发消息数据的中间层，常见的产品有RabbitMQ、RocketMQ等。分布式应用程序之间的通信接口由消息处理装置提供，消息发送方和接收方之间的连接完全是松耦合的，通信是非阻塞的。

在如今互联网应用海量消息交互过程中，消息处理装置承载消息数据的存储和转发，消息处理装置资源利用的效率，直接影响系统平台的性能和可靠性。其基本工作原理是：消息数据存储于服务端的消息队列中，消息处理端从消息队列中拉取消息进行处理。

图1示出了传统方法中消息处理装置的消息处理流程。消息发送端向服务端的消息队列发送消息；各个系统应用中的消息客户端根据需求请求消息队列中的消息，服务端根据负载均衡策略分配消息所发往的客户端；消息客户端获取消息后进行消息数据的处理。

发明内容

发明人研究，传统的消息处理装置的吞吐率较低。传统的消息处理客户端在执行消息处理时，网络通常相对空闲，往往造成网络和硬件资源的浪费，从而降低消息处理装置系统的吞吐率。同时，当阶段性地出现消息请求高峰时，消息处理装置系统的压力过大，难以满足消息应用端性能需求。

本发明解决的一个技术问题是，如何提升消息处理装置的吞吐率。

根据本发明实施例的一个方面，提供了一种消息处理方法，包括：消息处理客户端在进行当前消息处理的同时，向消息处理服务端发送消息请求以拉取消息；消息处理客户端将拉取到的消息存储在消息缓存队列中；消息处理客户端在当前消息处理结束后，对存储在消息缓存队列中的消息进行处理。

在一个实施例中，消息处理方法还包括：消息处理服务端根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量，确定为消息处理客户端分发的消息数量；消息处理服务端根据为消息处理客户端分发的消息数量，向消息处理客户端分发消息。

在一个实施例中，消息处理服务端根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量，确定为消息处理客户端分发的消息数量包括：消息处理服务端将消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量进行加权求和，确定为消息处理客户端分发的消息数量。

在一个实施例中，消息处理方法还包括：消息处理服务端根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量，确定消息处理客户端的消息缓存队列的容量。

在一个实施例中，消息处理服务端根据消息请求的请求消息数量、消息处理客户端的优先级以及消息处理客户端所在系统应用的吞吐量，确定消息处理客户端的消息缓存队列的容量包括：消息处理服务端将消息请求的请求消息数量与消息处理客户端的优先级相乘后与消息处理客户端所在系统应用的吞吐量相加，确定消息缓存队列的容量。

在一个实施例中，消息处理方法还包括：若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量，则消息处理服务端提升消息处理客户端的优先级，并重新确定为消息处理客户端分发的消息数量。

在一个实施例中，消息处理方法还包括：若在预设时间内消息处理客户端发送消息请求的请求消息数量大于为消息处理客户端分发的消息数量，则消息处理服务端提升消息处理客户端的优先级，并重新确定消息处理客户端的消息缓存队列的容量。