[发明专利]一种计算资源和缓存资源调度方法、装置及系统

说明书

本申请公开了一种计算资源和缓存资源调度方法、装置及系统。在该方法中，调度单元获取包括多个任务的任务集；确定任务拓扑关系，任务拓扑关系用于表示所述多个任务的关联关系；确定每个任务涉及的数据；根据任务拓扑关系、数据和分配策略，为每个任务分配计算节点，为每个数据分配缓存节点，分配策略包括为第一任务分配计算节点和为第一任务的输入数据分配缓存节点时优先选择相同的节点，第一任务为所述多个任务中的任意一个任务。上述调度方法有助于减少跨节点缓存数据读写操作的情况，以提高计算效率。尤其是在大规模任务处理过程中，提高本地计算、缓存的命中率能够避免频繁的跨节点读写操作，提高执行效率、减少处理时长的优势更加突出。

技术领域

本申请涉及计算机技术领域，尤其涉及一种计算资源和缓存资源调度方法、装置及系统。

背景技术

随着云计算、云原生计算的快速发展，分离技术让应用感知的计算资源和存储资源不再有上限。

当大数据、人工智能(artificial intelligence，AI)、高性能计算(highperformance computing，HPC)在云计算、云原生平台上应用时，包括如图1所示的三层调度：1、任务调度，任务调度器用于对任务之间的依赖关系进行调度；2、任务资源调度，任务资源调度器根据任务依赖关系为各任务分配计算资源，即确定用于执行每个任务的节点；3、缓存资源调度，缓存调度器对任务执行过程中所需的数据进行分布式缓存的调度，即，为数据分配缓存资源。

在上述调度过程中，由于任务资源调度和数据资源调度是在不同的层分别进行的，因此，经常出现如下情况：为任务1分配的计算节点为节点0，而执行任务1所需的数据被分配的缓存节点为节点1，这就使得节点0在执行任务1的过程中，需要从节点1进行数据的读/写。尤其是大规模任务处理过程中，频繁的跨节点读写操作，会显著降低任务执行效率，增加任务处理时长。

发明内容

本申请实施例提供一种计算资源和缓存资源调度方法、装置及系统，用于提高本地计算、缓存的命中率，减少跨节点缓存数据读写操作。

第一方面，本申请实施例提供一种计算资源和缓存资源调度方法，该方法包括：获取任务集，所述任务集包括多个任务；确定任务拓扑关系，所述任务拓扑关系用于表示所述多个任务的关联关系；确定每个所述任务涉及的数据；根据所述任务拓扑关系、所述数据和分配策略，为每个所述任务分配计算节点，为每个所述数据分配缓存节点，所述分配策略包括为第一任务分配计算节点和为所述第一任务的输入数据分配缓存节点时优先选择相同的节点，所述第一任务为所述多个任务中的任意一个任务。

在分布式计算、分布式缓存系统中，一些节点既能够提供计算资源，作为计算节点，也能够提供缓存资源，作为缓存节点。在本申请实施例中，调度单元对计算资源和调度资源进行统一调度，优先将一个任务的计算资源和该任务的输入数据的缓存资源分配至同一节点中，如图9所示，使得在执行该任务时能够进行本地缓存读写操作，从而减少跨节点缓存数据读写操作的情况，以提高计算效率。尤其是在大规模任务处理过程中，如大数据、AI、HPC处理过程，提高本地计算、缓存的命中率能够避免频繁的跨节点读写操作，提高任务执行效率、减少任务处理时长的优势更加突出。

在一种可能的实现方式中，在确定每个所述任务涉及的数据之后，所述方法还包括：根据所述任务拓扑关系确定数据拓扑关系，所述数据拓扑关系表示数据与数据之间的关联关系和/或数据与任务的关联关系；所述根据所述任务拓扑关系、所述数据和分配策略，为每个所述数据分配缓存节点，包括：根据所述任务拓扑关系、所述数据拓扑关系和分配策略，为每个所述数据分配缓存节点。确定数据拓扑关系，在为数据分配缓存节点时，有助于将存在关联关系的数据、任务分配至相同的节点，从而减少跨节点操作。

在一种可能的实现方式中，所述数据拓扑关系包括：每个数据对应的任务列表、所需缓存资源的信息以及副本数量。