[发明专利]一种基于K8s的资源调度方法、装置和存储介质

说明书

本发明实施例公开了一种基于K8s的资源调度方法、装置和计算机可读存储介质，根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分。统计每个候选节点被分配的worker任务数以及集群系统的worker任务总数，确定出每个候选节点对应的调度得分；依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分；选取出综合得分满足预设要求的目标候选节点执行存储任务。调度得分越高，说明候选节点上分配的worker任务越多，将存储任务分配到该候选节点时，可以有效的减少节点间的交互。通过综合考虑候选节点的业务性能以及worker任务与存储任务之间的通讯代价，能够让存储任务和worker任务的调度更加合理，从而加速任务的处理。

技术领域

本发明涉及分布式任务技术领域，特别是涉及一种基于K8s的资源调度方法、装置和计算机可读存储介质。

背景技术

在Parameter server架构(PS架构)中，集群中的节点所执行的任务被分为两类：parameter server和worker。其中parameter server简称ps，负责存放模型的参数，而worker负责计算参数的梯度。在每个迭代过程，worker从parameter sever中获得参数，然后将计算的梯度返回给parameter server，parameter server聚合从worker传回的梯度，然后更新参数，并将新的参数广播给worker。

Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，简称K8s，是用8代替8个字符“ubernete”而成的缩写。在现在的深度学习任务多采用容器化的方式进行执行，K8s在管理容器方面具有优势。

在K8s环境下集群系统会根据任务的需求选取合适的节点执行parameter server和worker任务。满足任务需求的节点往往有多个，会导致parameter server和worker分布在不同的节点，节点间的通讯开销比较大，会影响分布式任务的执行效率。

可见，如何提升分布式任务的执行效率，是本领域技术人员需要解决的问题。

发明内容

本发明实施例的目的是提供一种基于K8s的资源调度方法、装置和计算机可读存储介质，可以提升分布式任务的执行效率。

为解决上述技术问题，本发明实施例提供一种基于K8s的资源调度方法，包括：

根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分；

统计每个候选节点被分配的worker任务数以及集群系统的worker任务总数，确定出每个候选节点对应的调度得分；

依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分；

选取出综合得分满足预设要求的目标候选节点执行存储任务。

可选地，所述根据默认的评分策略对集群中筛选出的各候选节点进行评分，以得到各候选节点对应的初始得分包括：

从集群系统的所有节点中筛选出满足节点性能要求的候选节点；

根据各候选节点的可用资源、已分配的实例个数以及worker任务所需的申请资源，计算出各候选节点对应的worker初始得分，以便于根据所述worker初始得分选取出执行worker任务的候选节点；

根据各候选节点的可用资源、已分配的实例个数以及存储任务所需的申请资源，计算出各候选节点对应的存储初始得分；

相应的，所述依据每个候选节点的初始得分以及调度得分，得到每个候选节点的综合得分包括：

依据每个候选节点的存储初始得分以及调度得分，得到每个候选节点的综合得分。