[发明专利]一种消息获取方法和装置

说明书

本说明书实施例公开了一种从消息队列中间件获取消息的方法和装置，所述方法由计算平台中的用于处理所述消息的进程执行，包括：获取当前分配信息，当前分配信息与当前分配给所述进程的第一数量的第一消息队列相关，其中，所述第一消息队列是所述消息队列中间件中的消息队列；判断当前分配信息相比于预存的初始分配信息是否发生变化，所述初始分配信息与在所述进程启动时分配给所述进程的第二数量的第二消息队列相关，其中，所述第二消息队列是所述消息队列中间件中的消息队列；以及在所述当前分配信息相比于所述初始分配信息发生变化的情况下，进行重启，以与所述第一数量的第一消息队列建立连接，从而从所述第一数量的第一消息队列获取消息。

技术领域

本说明书实施例涉及数据处理技术领域，更具体地，涉及一种从消息队列中间件获取消息的方法和装置。

背景技术

目前，对于大数据处理任务，尤其是实时任务，通常使用大数据计算平台来进行，例如Jstorm、Storm、Spark Streaming等。在这样的处理任务中，通常使用消息队列中间件进行数据接入。消息队列中间件已经逐渐成为IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC(远程过程调用)的主要手段之一。目前，主流的消息中间件例如包括ActiveMQ、RabbitMQ、Kafka、RocketMQ等。例如，在Kafka-Storm方案中，消息队列中间件Kafka对Storm中的消费节点(消息处理进程)进行消息队列轮询分配，以保证均匀分配，并且使得每个消息队列只被一个节点消费，另外，通过上游消息队列来维护消息消费进度。然而，在上述Kafka-Storm方案中，当消息队列发生变化时，例如增加、减少、改动时，消费节点无法感知，并且，通过上游消息队列来维护消息消费进度不够稳定可靠，当Kafka中间件服务器端发生断电、死机等特殊情况时，有可能影响对消息消费进度的维护。因此，需要一种更有效的从消息队列中间件获取消息的方案，以解决上述不足。

发明内容

本说明书实施例旨在提供一种更有效的从消息队列中间件获取消息的方案，以解决现有技术中的不足。

为实现上述目的，本说明书一个方面提供一种从消息队列中间件获取消息的方法，所述方法由计算平台中的用于处理所述消息的进程执行，包括：

获取当前分配信息，所述当前分配信息与当前分配给所述进程的第一数量的第一消息队列相关，其中，所述第一消息队列是所述消息队列中间件中的消息队列；

判断所述当前分配信息相比于预存的初始分配信息是否发生变化，所述初始分配信息与在所述进程启动时分配给所述进程的第二数量的第二消息队列相关，其中，所述第二消息队列是所述消息队列中间件中的消息队列；以及

在所述当前分配信息相比于所述初始分配信息发生变化的情况下，进行重启，以与所述第一数量的第一消息队列建立连接，从而从所述第一数量的第一消息队列获取消息。

在一个实施例中，在所述从消息队列中间件获取消息的方法中，所述消息队列中间件中的消息队列具有对应的主题，所述进程被设置为从所述消息队列中间件中的与至少一个特定主题对应的至少一个消息队列获取消息，以及，所述当前分配信息与当前的所述至少一个消息队列相关。

在一个实施例中，在所述从消息队列中间件获取消息的方法中，所述进程为一组进程中一个进程，所述消息队列中间件中的消息队列具有对应的主题，所述一组进程被设定为从所述消息队列中间件中的与至少一个特定主题对应的至少一个消息队列获取消息，所述获取当前分配信息包括，从所述消息队列中间件获取第一信息，所述第一信息与当前的所述至少一个消息队列相关，以及，基于所述第一信息，获取所述当前分配信息。

在一个实施例中，在所述从消息队列中间件获取消息的方法中，基于所述第一信息，获取所述当前分配信息包括，根据轮询算法，基于所述第一信息，获取所述当前分配信息。