[发明专利]一种队列调度方法及装置

说明书

一种队列调度方法及装置，用以解决现有技术中存在用户队列占用固定的队列资源导致资源利用率不高的问题。该方法包括：在每个监控时间点采集与第一物理队列具有绑定关系的N个用户队列的运行参数值，根据运行参数值获得第一物理队列的运行统计结果，当第一物理队列的运行统计结果中包括的预设统计参数值大于第一阈值时，将与第一物理队列具有绑定关系的至少一个用户队列重新绑定至目标物理队列，其中，目标物理队列是指在第一队列资源池中处理能力高于第一物理队列组的物理队列组中的一个物理队列。因此，采用本申请实施例提供的方法，不在创建队列时固化队列资源，根据运行统计结果调整绑定关系，有效提高资源利用率。

技术领域

本申请涉及云计算技术领域，特别涉及一种队列调度方法及装置。

背景技术

消息队列是实现业务之间消息处理的一种中间件技术，通常包括例如事件通知、服务请求之类的信息，用来协调不同系统或业务模块之间的数据交换和消息通信。消息队列作为一种信息系统常用的基础服务，可实现“生产”过程和“消费”过程的解耦，提高系统响应速度，削峰填谷，广泛用于订单、日志、告警、流计算、任务调度等业务场景。如Kafka、RabbitMQ、ActiveMQ等都是常见的消息队列系统。

消息服务目前已经成为主流云服务提供商的基础服务之一，在很多的互联网应用和企业应用中扮演越来越总重要的角色，主要用在以下几个场景中：

(1)业务解耦：将业务中依赖其他系统同时属于非核心或不重要的部分使用消息通知即可，无需同步等待其他系统的处理结果。例如，电商网站的产品订单处理，可以把订单信息放入消息队列，出库、发货等后续会从队列里读取任务信息然后执行。

(2)数据最终一致性：用于两个系统的状态最终保持一致，或都成功或都失败。如交易系统的高可靠通知，实现跨系统的事务最终一致，降低实现成本。在电子商城抢购手机，用户使用了优惠券，在下单后，优惠券系统要锁定该优惠券，库存系统要将库存减一，锁定优惠券与减库存是由两个不同的系统完成的，执行时可能失败，但数据必须一致。使用消息队列系统，当某一个动作失败了，比如锁定优惠券失败了，向消息队列中发送一条“订单失败”的消息，另一个系统接收到这个消息后就可以做回退操作，把库存加一，这样实现数据最终一致性。

(3)错峰流控：上下游系统处理能力有差异时，可以使用消息服务转储系统之间的通信数据，提供消息堆积能力，在下游系统有能力处理消息的时候再处理，减少由于处理能力的差异导致的拥塞、等待等问题，降低系统的复杂性。

(4)日志同步：应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析,也可用于关键日志信息收集进行应用监控。

在云计算环境下，受到物理资源规模和成本等因素限制，消息队列系统可以支持的队列数量是有限的，单个队列可以支持的请求数、吞吐量、消息数量也是有限的，为了响应海量用户的队列访问请求，必须探索提升消息队列系统资源利用效率的方法。

现有的消息队列系统中，用户队列采用静态队列资源分配方式。具体的，用户创建队列时，系统会为其分配对应的队列资源，因此队列资源在队列创建时确定，用户基于该队列资源生产消息和消费消息，该队列资源被该用户独占。如图1所示，队列1、队列2、队列3、队列4在队列建立时就分配好相应的队列资源，因此，采用静态队列资源分配模型，用户队列与物理资源具有耦合性，无论用户队列对应的消息请求数、吞吐量、消息数量等参数的实际情况如何，都会占用一个固定的队列资源，在云环境下，存在大量的租户，需要同时创建多个用户队列，而系统可以支持的队列数目有限，限制了云服务的规模，资源利用效率不高。

发明内容

本申请实施例提供一种队列调度方法及装置，用以解决现有技术中存在用户队列占用固定的队列资源导致资源利用率不高的问题。