[发明专利]一种任务调度方法、装置、介质和设备

说明书

本公开提供了一种任务调度方法、装置、介质和设备，该方法包括：获取容器调度任务需求，容器调度任务需求包括执行任务需要资源，资源包括资源类型和资源数量，资源类型包括GPU；获取可用资源；基于任务需求、可用资源以及可用资源间的亲和性计算容器的调度值,其中，调度值用于决定容器调度的优先级；启动容器调度任务，根据容器的调度值给容器分配对应的资源；将任务发送到完成资源分配的容器执行作业任务。本公开根据GPU的亲和性策略进行精细化调度，对于使用GPU的任务，通过计算分析，选择与GPU亲和的GPU或其他资源上运行，而排除非亲和的GPU或其他资源上运行，使得资源调度效率达到最大化，对于系统资源性能有大幅度的提升。

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种任务调度方法、装置、介质和设备。

背景技术

硬件系统对输入硬件系统的任务进行处理过程中，需要根据输入的处理任务进行系统资源的合理调度，进而合理的分配系统资源，高效的处理系统任务。例如，对于输入的视频、图像、图片等任务进行处理时，不可避免的需要调度GPU(Graphics ProcessingUnit，图形处理器)进行处理，但现有的调度方式，通过YARN(Yet Another ResourceNegotiator)进行资源调度，仅仅是直接将GPU统一进行调度，按照卡数分配调度资源，来处理视频、图像、图片等任务，并不能保证给当前任务分配具有较高亲和性的GPU资源，因此存在调度效率低下，任务处理速度慢等问题。

公开内容

本公开的目的在于提供一种任务调度方法、装置、介质和设备，能够解决上述提到的至少一个技术问题。具体方案如下：

根据本公开的具体实施方式，第一方面，本公开提供一种任务调度方法，包括：获取容器调度任务需求，所述容器调度任务需求包括执行所述任务需要的资源，所述资源包括资源类型和资源数量，所述资源类型包括GPU；获取可用资源,所述可用资源是指当前能够调配的资源；基于所述任务需求、所述可用资源以及所述可用资源间的亲和性计算所述容器的调度值,其中，所述调度值用于决定所述容器调度的优先级；启动容器调度任务，根据所述容器的调度值给所述容器分配对应的资源；将所述任务发送到完成所述资源分配的所述容器执行作业任务。

可选的，所述资源包括：GPU、CPU和网络接口，其中，所述GPU与GPU之间、所述网络接口与网络接口之间具有相同或不同的亲和类型；所述GPU、CPU和网络接口两两之间分别具有相同或不同的亲和类型，所述不同的亲和类型具有不同的权重值。

可选的，所述基于所述任务需求、所述可用资源以及所述可用资源间的亲和性计算所述容器的调度值，包括：根据所述容器调度任务需求，组合当前能够调配的所述资源，形成多个资源组合，每一资源组合中的资源之间具有亲和性；分别计算每一个资源组合的组合值；根据所述资源组合的组合值计算所述容器的调度值。

可选的，所述分别计算每一个资源组合的组合值，包括：获取每一个资源组中的具体资源；根据所述每一个资源组中的具体资源的类型和权重值，计算每一个资源组合的组合值。

可选的，所述根据所述资源组合的组合值计算所述容器的调度值，包括：将所述资源组合的组合值按照所述组合值的大小进行排序；选择所述组合值最大的作为所述容器的调度值。

可选的，所述启动容器调度任务，根据所述容器的调度值给所述容器分配对应的资源，包括：启动所述容器调度任务，将所述容器的调度值最大的资源组合分配给所述容器。