[发明专利]面向多阶段AI云服务的高吞吐异构资源管理方法及器件

说明书

本发明提供一种面向多阶段AI云服务的高吞吐异构资源管理方法及器件，所述面向多阶段AI云服务的高吞吐异构资源管理方法包括：利用一服务质量目标分配器基于接收到的LC服务的请求将服务质量目标拆分为CPU侧服务质量目标和GPU侧服务质量目标；利用一异构资源管理器以CPU侧服务质量目标和GPU侧服务质量目标作为初始样本搜索最佳资源分配；利用一服务质量补偿器实时监测CPU阶段的进度，并在用户请求在CPU阶段花费的时间超过其CPU的服务质量目标时，加速其在加速器端的执行。本发明既保证LC服务的服务质量，又极大地提高了异构设备上所有BE应用的综合性能。

技术领域

本发明涉及GPU技术领域，特别是涉及一种面向多阶段AI云服务的高吞吐异构资源管 理方法及器件。

背景技术

现代数据中心常常托管一些面向用户的应用服务，比如网页搜索、社交网络、人脸识别 等等。这类应用通常以低响应时间和高精度来吸引用户，因此都有着严格的延迟要求。这类 应用也被称为LC(latency-critical)应用。保证这些LC应用的服务质量(QoS)是目前数据 中心相关研究的重点。

随着云计算平台以及深度学习的快速发展，最近的深度神经网络(DNN)已经在各类应 用场景下达到了人类级别的准确性，比如图像识别、语音识别等。相应地，深度神经网络也 被用来支持各种数据中心的LC应用。新的硬件如GPU等加速器也被云计算服务商采用并广 泛部署在计算机集群中，以支持新兴深度学习任务的高算力需求。相比传统的在线服务，基 于深度学习的在线服务不仅有严格的服务质量要求而且在计算上要求很高，会使用多种异构 资源。

这类基于DNN支持的LC应用，主要有两个阶段：数据预处理和在线推理(inference)。 异构加速器(如GPU)通常会用于推理阶段，而主机CPU则用于数据预处理阶段(包括解 码和数据大小调整等)。主机和加速器之间的交互阶段(memcpy)由PCI-e总线支持。数据 中心存在着一些不可避免的问题，其中很重要的一个问题就是资源的过度配置。根据之前的 一些研究可知，这些LC服务经常会遇到用户访问的昼夜模式(在白天的某些时刻，用户请 求数量高且集中；而到了夜晚，用户请求负载会迅速降低)。这种模式会导致除了高峰时间 外，大量时间下CPU/GPU资源并没有得到充分利用，由此便会导致资源的浪费。

为了提高数据中心异构资源的利用率，通常的做法是将有QoS要求的LC服务和没有QoS 要求的尽力而为型(best-effort)BE应用同时运行。加速器的制造商们现在也正在生产这种 支持空分共享的多任务加速器，以便在同一个加速器上实现更高的吞吐量。例如，MPS(多 进程服务)是CUDA应用程序接口(API)的实现。最新的NVIDIA VOLTA和TURING架构下，VOLTA MPS技术允许不同的应用程序在同一GPU上以特定资源百分比同时执行，从 而提高整体的GPU利用率。

但是混合部署多个应用程序可能会给LC服务带来性能损失并增加用户请求的端到端 延迟，出现违反服务质量的风险。这主要是因为混合部署的多个应用程序会争夺共享的异构 资源。除此之外，对于这种新型的多阶段AI云服务，它们同时具有主机阶段(CPU)和加速 器阶段(GPU)。如何为这类新兴的异构混合部署场景设计合适的调度策略存在着新的挑战。 在保证LC应用服务质量的同时，使得整体资源的利用更加高效和经济是本发明需要解决的 重要问题。

对于CPU混合部署的QoS保证技术，现有技术分为两类：基于性能分析的方法和基于 反馈调节的方法。基于性能分析的方法，如Bubble-up，可以分析面向用户的服务和批处理应 用程序，以预测由于共享缓存和内存带宽争用导致的性能下降，并确定不会导致QoS违反的 “安全”的调度方式。基于反馈调节的方法，如Heracles，它们根据当前时段中面向用户服 务的QoS反馈，构建决策树以确定下一时段中的资源分配情况，从而定期调整共享资源的分 配。