[发明专利]一种计算资源和缓存资源调度方法、装置及系统

权利要求书

1.一种计算资源和缓存资源调度方法，其特征在于，包括：

获取任务集，所述任务集包括多个任务；

确定任务拓扑关系，所述任务拓扑关系用于表示所述多个任务的关联关系；

确定每个所述任务涉及的数据；

根据所述任务拓扑关系、所述数据和分配策略，为每个所述任务分配计算节点，为每个所述数据分配缓存节点，所述分配策略包括为第一任务分配计算节点和为所述第一任务的输入数据分配缓存节点时优先选择相同的节点，所述第一任务为所述多个任务中的任意一个任务。

2.根据权利要求1所述的方法，其特征在于，在确定每个所述任务涉及的数据之后，所述方法还包括：

根据所述任务拓扑关系确定数据拓扑关系，所述数据拓扑关系表示数据与数据之间的关联关系和/或数据与任务的关联关系；

所述根据所述任务拓扑关系、所述数据和分配策略，为每个所述数据分配缓存节点，包括：

根据所述任务拓扑关系、所述数据拓扑关系和分配策略，为每个所述数据分配缓存节点。

3.根据权利要求2所述的方法，其特征在于，所述数据拓扑关系包括：每个数据对应的任务列表、所需缓存资源的信息以及副本数量。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述分配策略还包括：

为所述第一任务分配计算节点和为所述第一任务的输出数据分配缓存节点时，优先选择相同的节点。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述分配策略还包括：

为第二任务分配计算节点时，优先选择为所述第一任务分配的计算节点，所述第二任务为根据所述任务拓扑关系确定出的所述第一任务的下一个任务。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述为每个所述数据分配缓存节点，包括：

确定每个任务对涉及的每个数据所需的副本数量，为每个所述数据的副本分配缓存节点。

7.根据权利要求6所述的方法，其特征在于，所述分配策略还包括：

若第一任务涉及的第一数据也是第三任务涉及的数据，且所述第一任务对所述第一数据所需的副本数量大于所述第三任务对所述第一数据所需的副本数量，优先将为所述第三任务分配的计算节点作为所述第一数据的一个副本的缓存节点。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述任务拓扑关系还包括每个任务所需的计算资源。

9.根据权利要求1-8任一项所述的方法，其特征在于，在为每个所述任务分配计算节点之后，所述方法还包括：

根据每个所述任务所需的计算资源，更新存储的所述计算节点的可用计算资源。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：

根据所述多个任务所需的计算资源，确定当前全部可用的计算资源是否能够满足当前的计算需求，若不满足，对计算资源进行扩容；和/或

根据所述数据的大小，确定当前全部可用的缓存资源大小是否能够满足当前的缓存需求，若不满足，对缓存资源进行扩容。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：

若确定当前计算资源的使用率小于或等于预设阈值，释放预设大小或预设比例的计算资源；和/或

若确定当前缓存资源使用率小于或等于预设阈值，释放预设大小或预设比例的缓存资源。

12.根据权利要求1-11任一项所述的方法，其特征在于，所述方法还包括：

确定所述多个任务涉及的初始数据；

将所述初始数据从远端集群缓存至本地集群中。

13.根据权利要求1-12任一项所述的方法，其特征在于，所述方法应用于云原生分布式缓存平台中。