[发明专利]一种任务处理方法及装置

说明书

本发明公开了一种任务处理方法及装置，涉及计算机技术领域，主要目的在于实现集群资源的灵活配置，保证集群的响应速度，本发明的主要技术方案为：根据消息队列中待处理的任务量开启预设数量的集群，按照所述消息队列中任务处理顺序向开启的集群分配任务，所述消息队列中标记有任务处理状态；在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态，所述集群运行状态包括异常状态、正常状态以及空闲状态；关闭所述异常状态以及所述空闲状态的集群。本发明主要用于集群任务的处理。

技术领域

本发明涉及计算机技术领域，尤其涉及一种任务处理方法及装置。

背景技术

随着云计算技术的发展，越来越多的IT服务系统逐渐向云平台迁移，构建基于云平台的服务已经成为主流方式。所谓云平台，就是利用云计算技术和思想构建起来的系统平台，提供数据计算、数据存储服务以及集成特殊应用的服务平台。

目前，常用的云平台有阿里云、Microsoft Azure、Amazon Web Services等，各家云平台中会搭建有多个集群，每个集群中包含有一组各自独立的服务器，通过集群操作能够提高云平台的稳定性和数据处理能力。并且各家云平台提供的自动调度功能能够合理的处理好各个集群缩放场景，为待处理任务分配合理的资源，通过不同场景下对集群资源的合理配置，能够避免出现集群闲置和任务处理能力不足的情况。

然而，现有的云平台所提供的自动调度功能在应对不同类型的任务时，无法对集群资源进行灵活配置，使得集群在任务处理过程中响应速度慢，另外，当任务处理出现异常时无法正常关闭集群，导致资源浪费。

发明内容

有鉴于此，本发明提供一种任务处理方法及装置，主要目的在于实现集群资源的灵活配置，保证集群的响应速度。

为了解决上述问题，本发明主要提供如下技术方案：

一方面，本发明实施例提供了一种任务处理方法，包括：

根据消息队列中待处理的任务量开启预设数量的集群，按照所述消息队列中任务处理顺序向开启的集群分配任务，所述消息队列中标记有任务处理状态；

在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态，所述集群运行状态包括异常状态、正常状态以及空闲状态；

关闭所述异常状态以及所述空闲状态的集群。

进一步地，所述根据消息队列中待处理的任务量开启预设数量的集群，按照所述消息队列中任务处理顺序向开启的集群分配任务包括：

根据消息队列中待处理的任务量确定需要开启的集群数量；

根据所述需要开启的集群数量以及集群运行状态开启预设数量的集群,按照所述消息队列中任务处理顺序向开启的集群分配任务。

进一步地，所述在任务处理过程中根据所述集群中的任务处理状态更新集群运行状态包括：

按照预置时间间隔获取所述消息队列中任务处理状态，所述任务处理状态包括任务正常、任务异常以及空闲；

在任务处理过程中当所述任务处理状态为任务异常、任务正常或者任务完成时，对应更新所述任务所在集群的集群运行状态为异常状态、正常状态或者空闲状态。

进一步地，在所述关闭所述异常状态以及所述空闲状态的集群之后，所述方法还包括：

检测关闭后的集群中是否存在未处理完成的任务；

若存在，将所述未处理完成的任务发送至所述消息队列中，并调整所述未处理完成的任务在所述消息队列中的任务处理顺序；

按照调整后的消息队列中的任务处理顺序向集群分配任务。

进一步地，所述按照调整后的消息队列中的任务处理顺序向集群分配任务包括：