[发明专利]分布式消息队列系统的数据处理方法和装置

说明书

本发明公开了一种分布式消息队列系统的数据处理方法和装置。其中，该数据处理方法包括：获取生产者生成的待处理消息的特征；按照特征将具有顺序关系的待处理消息划分在一个数据分片下；将数据分片发送给代理者；以及指示与代理者对应的消费者对数据分片中的待处理消息进行数据处理。通过本发明，解决了现有技术中分布式消息队列在处理消息时效率比较低的问题，达到了提高消息队列在处理消息时的效率的效果。

技术领域

本发明涉及信息处理领域，具体而言，涉及一种分布式消息队列系统的数据处理方法和装置。

背景技术

分布式消息队列系统中生产者产生消息通过负载均衡和路由的方式将消息分布到多个代理节点。其中，负载均衡是生产者将消息分布到代理节点时候，考虑单个节点的压力等原因会采取“随机”、“轮询”和“哈希”等策略将消息放到相应的代理节点中。路由是代理节点会根据本节点中相应的消息与已注册的需要消费这种消息的消费者的匹配情况，选择合适的路径将消息传送到目标消费者。

由于在分布式环境中，在生产者环节中产生的有序的消息经过中间的“负载均衡”和“路由”环节以及在末端的多个消费者独立消费消息，要保证消息被顺序处理是非常困难的。这是因为，在分布式条件下为了保证系统的容错性(防止由于某单个节点失败而引发系统无法工作)以及高吞吐量而增加的“负载均衡”和“路由”环节以及终端的多“消费者”独立工作的机制打破了严格顺序序列性。分布式与顺序序列性本身就是一个矛盾。因此，所有的消息只能分布到一个代理节点，同时只能有一个消费者消费消息，这就导致分布式消息队列系统的容错性和高吞吐量退化为单一的消息队列的处理方式，无法在保证高吞吐量的同时保证消息的多线程传输，使得分布式消息队列的处理消息的效率比较低。

针对现有技术中分布式消息队列在处理消息时效率比较低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种分布式消息队列系统的数据处理方法和装置，以解决现有技术中分布式消息队列在处理消息时效率比较低的问题。

为了实现上述目的，根据本发明实施例的一个方面，提供了一种分布式消息队列系统的数据处理方法。根据本发明的消息队列系统的数据处理方法包括：获取所述生产者生成的待处理消息的特征；按照所述特征将具有顺序关系的所述待处理消息划分在一个数据分片下；将所述数据分片发送给所述代理者；以及指示与所述代理者对应的消费者对所述数据分片中的所述待处理消息进行数据处理。

为了实现上述目的，根据本发明实施例的另一方面，提供了一种分布式消息队列系统的数据处理装置。根据本发明的消息队列系统的数据处理装置包括：获取单元，用于获取生产者生成的待处理消息的特征；划分单元，用于按照所述特征将具有顺序关系的所述待处理消息划分在一个数据分片下；发送单元，用于将所述数据分片发送给代理者；以及处理单元，用于指示与所述代理者对应的消费者对所述数据分片中的所述待处理消息进行数据处理。

根据发明实施例，通过获取所述生产者生成的待处理消息的特征；按照所述特征将具有顺序关系的所述待处理消息划分在一个数据分片下；将所述数据分片发送给所述代理者；以及指示与所述代理者对应的消费者对所述数据分片中的所述待处理消息进行数据处理，将具有顺序关系的消息分在一个数据分片下，使得一个数据分片中的消息具有顺序，而一个数据分片对应一个代理者和一个消费者，使得数据分片中的数据被顺序处理，当消息队列系统拥有多个代理者时，即实现了多个代理者的分布式处理，又实现了每个代理者能够顺序处理消息，从而解决了现有技术中分布式消息队列在处理消息时效率比较低的问题，达到了提高消息队列在处理消息时的效率的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的分布式消息队列系统的示意图；