[发明专利]服务运行方法、装置和电子设备

权利要求书

1.一种服务运行方法，其特征在于，包括：

根据服务集合中每个服务的性能数据，确定GPU的目标部署方式，其中，部署方式包括从GPU划分具有相应大小的子GPU和确定每个子GPU用于运行的服务；

对于所述服务集合中的服务，将该服务从运行于当前部署方式指示的子GPU，切换至运行于所述目标部署方式指示的子GPU。

2.根据权利要求1所述的方法，其特征在于，服务的性能数据包括实际性能数据和目标性能数据，其中，实际性能数据包括服务运行在不同大小的子GPU上实现的吞吐量和延迟，目标性能数据包括服务的目标吞吐量和目标延迟。

3.根据权利要求1所述的方法，其特征在于，所述根据服务集合中每个服务的性能数据，确定GPU的目标部署方式，包括：

执行第一处理步骤：使用贪心算法，通过处理所述服务集合中每个服务的性能数据，确定GPU的最优部署方式；对于每个服务，根据该服务的性能数据，确定该服务在最优部署方式下是否满足目标性能；响应于每个服务在最优部署方式下均满足目标性能，将最优部署方式作为所述目标部署方式；

响应于所述服务集合中任意服务在最优部署方式下不满足目标性能，继续执行所述第一处理步骤。

4.根据权利要求3所述的方法，其特征在于，所述通过处理所述服务集合中每个服务的性能数据，确定GPU的最优部署方式，包括：

通过处理所述服务集合中每个服务的性能数据，确定GPU的一批部署方式，确定每种部署方式的评分，并将评分最高的部署方式作为最优部署方式。

5.根据权利要求3所述的方法，其特征在于，所述对于每个服务，根据该服务的性能数据，确定该服务在最优部署方式下是否满足目标性能，包括：

对于每个服务，执行第一确定步骤：

根据该服务的实际性能数据和目标性能数据，确定该服务在最优部署方式下的吞吐量是否大于等于其目标吞吐量，以及该服务在最优部署方式下的延迟是否小于等于其目标延迟；

响应于该服务在最优部署方式下的吞吐量大于等于其目标吞吐量，且该服务在最优部署方式下的延迟小于等于其目标延迟，确定该服务在最优部署方式下满足目标性能。

6.根据权利要求5所述的方法，其特征在于，所述第一确定步骤还包括：

响应于该服务在最优部署方式下的吞吐量小于其目标吞吐量，或者该服务在最优部署方式下的延迟大于其目标延迟，确定该服务在最优部署方式下不满足目标性能。

7.根据权利要求1所述的方法，其特征在于，所述根据服务集合中每个服务的性能数据，确定GPU的目标部署方式，包括：

循环执行第二处理步骤：使用树搜索算法，通过处理所述服务集合中每个服务的性能数据，确定GPU的一批部署方式；对于GPU的一批部署方式中的每种部署方式，通过交替使用交叉算法和变异算法，减少该部署方式划分的子GPU的数量；将服务的部署完成率最优的部署方式，作为最优部署方式；

从多种最优部署方式中确定每个服务均满足目标性能的部署方式；

将每个服务均满足目标性能且包括的子GPU的数量最少的部署方式，作为所述目标部署方式。

8.根据权利要求7所述的方法，其特征在于，所述变异算法用于调换不同GPU上相同大小的子GPU用于运行的服务；所述交叉算法用于将同一个GPU上多个子GPU运行相同服务，更换为一个子GPU运行该服务。