[发明专利]基于三层架构的任务调度方法、介质、设备及系统

说明书

本发明公开了一种基于三层架构的任务调度方法及系统，其中方法包括：首先，获取每个用户对应的任务列队，以便根据任务列队生成对应的任务配置表；接着，Master组件获取Manager组件的资源情况，以便根据任务配置表中的每个用户优先级和调度策略得到对应的进程分配策略；最后，Manager组件获取Master组件计算的进程分配策略，并根据进程分配策略调度Worker组件，以便被调度的Worker组件根据调度策略对任务队列进行处理；由此，采用Master‑Manager‑Worker的三层架构实现可扩展、可伸缩、高并发的作业调度，从而提高调度效率。

技术领域

本发明涉及大数据处理技术领域，特别涉及一种基于三层架构的任务调度方法、一种计算机可读存储介质、一种计算机设备以及一种基于三层架构的任务调度系统。

背景技术

相关技术中，Celery或者RQ等调度系统的调度对象是任务，调度策略一般只支持先来先服务策略，而不支持动态分配计算机资源，该类系统仅适应于以任务为调度对象的作业应用场景下，对于高并发的电商SaaS领域并不适应；由于电商SaaS领域是以租户为服务对象，作业调度问题上不再以任务为调度对象，而是以商家/租户的任务为调度对象，相当于先按租户级别、再按租户的任务级别两个层级组合作为调度对象，所以原有的一主Master多Worker进程的旧架构并不适用。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于三层架构的任务调度方法，采用Master-Manager-Worker的三层架构实现可扩展、可伸缩、高并发的作业调度，从而提高调度效率。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种基于三层架构的任务调度系统。

为达到上述目的，本发明第一方面实施例提出了一种基于三层架构的任务调度方法，所述三层架构包括Master组件、Manager组件和Worker组件，其中，所述任务调度包括以下步骤：获取每个用户对应的任务队列，以便根据所述任务队列生成对应的任务配置表；所述Master组件获取所述Manager组件的资源情况，以便根据所述任务配置表中的每个用户优先级和调度策略得到对应的进程分配策略；所述Manager组件获取所述进程分配策略，并根据所述进程分配策略分配对应的Worker组件，以便被分配的所述Worker组件根据所述调度策略对所述任务队列进行处理。

根据本发明实施例的基于三层架构的任务调度方法，首先，获取每个用户对应的任务队列，以便根据任务队列生成对应的任务配置表；接着，Master组件获取Manager组件的资源情况，以便根据任务配置表中的每个用户优先级和调度策略得到对应的进程分配策略；最后，Manager组件获取进程分配策略，并根据进程分配策略分配对应的Worker组件，以便被分配的Worker组件根据调度策略对任务队列进行处理；由此，采用

Master-Manager-Worker的三层架构实现可扩展、可伸缩、高并发的作业调度，从而提高调度效率。

另外，根据本发明上述实施例提出的基于三层架构的任务调度方法还可以具有如下附加的技术特征：

可选地，根据所述进程分配策略分配对应的Worker组件，以便被分配的所述Worker组件根据所述调度策略对所述任务队列进行处理，包括：根据所述每个用户的优先级分配对应的Worker组件给对应的用户，其中，优先级越高的用户分配的Worker组件越多；根据所述每个用户对应的每个任务的优先级分配对应所述用户分配的Worker组件给所述对应的任务，其中，优先级越高的任务分配的Worker组件越多；所述Worker组件根据所述调度策略对相应的任务进行处理。