[发明专利]用于流式计算服务的方法、装置和系统

说明书

本说明书的实施例提供了用于流式计算服务的方法、装置、计算设备、机器可读存储介质和系统。该方法包括：确定待分配的M个消息队列分区；基于一致性哈希算法，将M个消息队列分区映射到一致性哈希环上；基于M个消息队列分区的映射结果，将M个消息队列分区分别分配给流式计算集群中的N个计算节点中的相应的计算节点，以便由相应的计算节点处理相应的消息队列分区中的消息，其中，N个计算节点基于一致性哈希算法被映射到一致性哈希环上。

技术领域

本说明书的实施例涉及流式计算领域，并且具体地，涉及用于流式计算服务的方法、装置、计算设备、机器可读存储介质和系统。

背景技术

随着信息技术的快速发展，信息呈爆炸式增长。在这种情况下，流式计算技术应运而生。流式计算技术可以对海量的实时数据流进行计算或处理，产生实时处理结果，具有低时延、高吞吐量等优点。目前，很多应用是基于实时数据流来实现的，因此随着业务需求的不断增长，对流式计算技术的各种性能的要求也越来越高。

发明内容

考虑到现有技术的上述问题，本说明书的实施例提供了用于流式计算服务的方法、装置、计算设备、机器可读存储介质和系统。

一方面，本说明书的实施例提供了一种用于流式计算服务的方法，其中，流式计算集群包括控制节点和N个计算节点，N为大于1的正整数，所述方法由所述控制节点执行并且所述方法包括：确定待分配的M个消息队列分区，其中，M为正整数；基于一致性哈希算法，将所述M个消息队列分区映射到一致性哈希环上；基于所述M个消息队列分区的映射结果，将所述M个消息队列分区分别分配给所述N个计算节点中的相应的计算节点，以便由相应的计算节点处理相应的消息队列分区中的消息，其中，所述N个计算节点基于所述一致性哈希算法被映射到所述一致性哈希环上。

另一方面，本说明书的实施例提供了一种用于流式计算服务的方法，其中，流式计算集群包括控制节点、N个计算节点和至少一个热备节点，N为大于1的正整数，所述方法由所述控制节点执行并且所述方法包括：监控所述N个计算节点是否正常运行；当确定所述N个计算节点中的第一计算节点无法正常运行时，使得所述至少一个热备节点中的第一热备节点代替所述第一计算节点来处理消息队列中的被分配给所述第一计算节点的消息，其中，所述至少一个热备节点是在所述流式计算集群启动时初始化的。

另一方面，本说明书的实施例提供了一种用于流式计算服务的方法，其中，所述方法由集群管控节点执行，所述方法包括：从由所述集群管控节点管理的多个流式计算集群分别接收集群健康状态消息，其中，所述多个流式计算集群分别同步地处理相同的消息，每个流式计算集群的集群健康状态消息用于指示该流式计算集群是否正常运行；基于所述多个流式计算集群的集群健康状态消息，确定由所述多个流式计算集群中的哪个流式计算集群对外提供服务。

另一方面，本说明书的实施例提供了一种用于流式计算服务的控制节点，其中，流式计算集群包括所述控制节点和N个计算节点，N为大于1的正整数，所述控制节点包括：确定单元，其确定待分配的M个消息队列分区，其中，M为正整数；映射单元，其基于一致性哈希算法，将所述M个消息队列分区映射到一致性哈希环上；分配单元，其基于所述M个消息队列分区的映射结果，将所述M个消息队列分区分别分配给所述N个计算节点中的相应的计算节点，以便由相应的计算节点处理相应的消息队列分区中的消息，其中，所述N个计算节点基于所述一致性哈希算法被映射到所述一致性哈希环上。

另一方面，本说明书的实施例提供了一种用于流式计算服务的控制节点，其中，流式计算集群包括所述控制节点、N个计算节点和至少一个热备节点，N为大于1的正整数，所述控制节点包括：监控单元，其监控所述N个计算节点是否正常运行；切换单元，其在确定所述N个计算节点中的第一计算节点无法正常运行时，使得所述至少一个热备节点中的第一热备节点代替所述第一计算节点来处理消息队列中的被分配给所述第一计算节点的消息，其中，所述至少一个热备节点是在所述流式计算集群启动时初始化的。