[发明专利]基于附接的加速器的推理服务

说明书

本文详细描述的实现方式包括一种计算机实现方法的描述。在实现方式中，所述方法至少包括：接收应用实例配置，所述应用实例的应用在机器学习模型的执行期间利用附接加速器的一部分，并且所述应用实例配置包括：要使用的中央处理单元(CPU)能力的指示；要使用的所述机器学习模型的算术精度；要使用的所述加速器能力的指示；所述应用的存储位置；以及要使用的随机存取存储器的量的指示。

背景技术

随着深度学习在各种应用中变得越来越普遍，客户发现在生产环境中运行它具有挑战性且昂贵。如今，客户使用GPU来提高运行干扰工作负载的性能和效率，但发现如果不过度供应容量(这可能是浪费且昂贵的)就很难做到这一点。运行深度学习推理(inference)的成本占整个应用基础设施的很大一部分，而大规模运行这些工作负载的任何效率低下可能会导致成本过高。

附图说明

将参考附图描述根据本公开的各种实施方案，在附图中：

图1示出了利用弹性推理服务的系统的实施方案。

图2示出了弹性推理服务的实施方案。

图3示出了允许包括数据平面方面和控制平面方面的弹性推理的系统的实施方案。

图4示出了作为泳道图的设备供应的方法的示例。

图5示出了加速器设备供应的实施方案。

图6示出了加速器设备预附接的实施方案。

图7示出了作为泳道图的设备附接的方法的示例。

图8示出了加速器设备附接的实施方案。

图9示出了作为泳道图的设备取消附接/回收的方法的示例。

图10示出了使用加速器来进行弹性推理的方法的游泳图的实施方案，包括应用实例与加速器设备之间的交互。

图11示出了由web服务提供商在实现弹性推理服务时执行的方法的实施方案。

图12示出了由web服务提供商在实现弹性推理服务时执行的方法的实施方案。

图13示出了由web服务提供商在实现弹性推理服务时执行的方法的实施方案。

图14示出了使用基于加速器的推理服务的系统的实施方案。

图15示出了根据一些实施方案的示例性提供商网络环境。

图16示出了根据一些实施方案的使用IP隧道技术在网络底层上实现覆盖网络的示例性数据中心。

图17示出了根据一些实施方案的将提供商网络上的虚拟网络提供给至少一些客户的示例性提供商网络。

图18是示出了可以在一些实施方案中使用的示例性计算机系统的框图。

图19出了根据各种实施方案可利用的示例性计算装置的一组通用部件的逻辑布置。

图20示出了用于实现根据各种实施方案的各方面的环境的示例。

具体实施方式

描述了用于弹性机器学习服务的方法、装置、系统和非暂时性计算机可读存储介质的各种实施方案。特别地，加速器的插槽可附接到推理应用(包括推理调用的应用)并用作较大应用的流水线的一部分。