[发明专利]面向多阶段AI云服务的高吞吐异构资源管理方法及器件

权利要求书

1.一种面向多阶段AI云服务的高吞吐异构资源管理方法，其特征在于：

利用一服务质量目标分配器基于接收到的LC服务的请求将服务质量目标拆分为CPU侧服务质量目标和GPU侧服务质量目标；

利用一异构资源管理器以CPU侧服务质量目标和GPU侧服务质量目标作为初始样本搜索最佳资源分配；

利用一服务质量补偿器实时监测CPU阶段的进度，并在用户请求在CPU阶段花费的时间超过其CPU的服务质量目标，加速其在加速器端的执行。

2.根据权利要求1所述的面向多阶段AI云服务的高吞吐异构资源管理方法，其特征在于：所述基于接收到的LC服务的请求将服务质量目标拆分为CPU侧服务质量目标和GPU侧服务质量目标，包括：

将LC任务的每种资源配额设置为其最小资源单位，同时将其余资源分配给BE任务；

根据共享资源的性能曲面调整CPU-GPU阶段的服务质量分配；

记录LC任务的服务质量增加值和BE任务性能下降值；

选择最佳资源分配，将最佳资源分配从BE任务调整到LC任务并执行下一次循环，实现将服务质量目标拆分为CPU侧服务质量目标和GPU侧服务质量目标。

3.根据权利要求1所述的面向多阶段AI云服务的高吞吐异构资源管理方法，其特征在于：所述异构资源管理器基于随机森林的贝叶斯优化算法搜索最佳资源分配。

4.根据权利要求3所述的面向多阶段AI云服务的高吞吐异构资源管理方法，其特征在于：所述初始样本采用以下策略中的任一种进行采样：所有CPU阶段任务分配相等的计算资源的相同优先级策略、从服务质量目标分配器中获取资源分配初始点的初始资源分配策略、为BE作业分配最小资源配额，剩余给LC任务的服务质量保证策略。

5.根据权利要1所述的面向多阶段AI云服务的高吞吐异构资源管理方法，其特征在于：为异构资源管理器配置评分函数，以引导资源管理器在配置空间中朝着正确的方向进行搜索。

6.根据权利要1所述的面向多阶段AI云服务的高吞吐异构资源管理方法，其特征在于：构建基于LC任务的服务质量和BE任务的综合吞吐量的分段的目标函数；所述分段的目标函数的第一个目标是在CPU和GPU上满足服务质量目标，第二个目标是最大化BE任务的整体系统吞吐量。

7.根据权利要1或6所述的面向多阶段AI云服务的高吞吐异构资源管理方法，其特征在于：还包括配置搜索最佳资源分配的优化约束条件；所述优化约束条件包括：每个任务的最大配额不超过资源总量；对于每种资源，所有任务的配额总和不能大于总量。

8.根据权利要6或7所述的面向多阶段AI云服务的高吞吐异构资源管理方法，其特征在于：所述实时监测CPU阶段的进度包括：计算执行CPU阶段所增加的时长，如果执行CPU阶段所增加的时长大于使用新的资源配额下减少的GPU阶段执行时间，则确定用户请求在CPU阶段花费的时间未超过其CPU的服务质量目标。

9.根据权利要1所述的面向多阶段AI云服务的高吞吐异构资源管理方法，其特征在于：所述服务质量补偿器为LC服务的请求确认新的资源配额，在确定新的资源配额时，分配给BE任务的计算资源配额同时更新；若LC服务的请求的CPU阶段进度满足新配额的服务质量，则分配给LC服务的请求的资源配额回滚到其原始配额。

10.一种电子器件，其特征在于：包括CPU和GPU，所述电子器件应用如权利要求1至权利要求9任一权利要求所述的面向多阶段AI云服务的高吞吐异构资源管理方法。