[发明专利]基于附接的加速器的推理服务

权利要求书

1.一种计算机实现的方法，其包括：

在多租户web服务提供商中接收应用实例配置，所述应用实例的应用用于在机器学习模型的执行期间利用附接的加速器的一部分，并且所述应用实例配置包括：

要使用的中央处理单元(CPU)能力的指示，

要使用的所述机器学习模型的算术精度，

要使用的所述加速器能力的指示，

所述应用的存储位置，以及

要使用的随机存取存储器的量的指示；

供应所述应用实例和附接到所述应用实例的所述加速器的所述部分，其中所述应用实例在第一实例位置使用物理计算实例来实现，其中所述加速器的所述部分在第二位置使用物理加速器来实现，并且其中所述物理加速器能通过网络由所述物理计算实例访问；

将所述加速器的所述部分附接到所述应用实例；

将所述机器学习模型加载到所述加速器的所附接部分；以及

使用所述附接加速器上的所述加速器的所述部分、使用所述应用的所加载的机器学习模型来执行推理。

2.根据权利要求1所述的方法，其中所述机器学习模型包括用于推理的计算图的描述和从训练中获得的权重。

3.根据权利要求1-2中任一项所述的方法，其中所述机器学习模型是呈TensorFlow、MXNet或ONNX格式。

4.根据权利要求1-3中任一项所述的方法，其中所述应用实例和所述附接加速器的所述部分在不同的虚拟网络内。

5.根据权利要求1-4中任一项所述的方法，其中所述加速器是加速器设备的多个加速器中的一个。

6.根据权利要求5所述的方法，其中所述加速器设备包括具有不同能力的加速器。

7.根据权利要求6所述的方法，其中所述加速器设备的中央处理单元与所述多个加速器的能力成比例地被共享。

8.根据权利要求1-7中任一项所述的方法，其还包括：

取消附接附接加速器的所述部分；以及

将所述机器学习模型迁移到所述附接加速器的不同部分。

9.根据权利要求1-7中任一项所述的方法，其还包括：

取消附接附接加速器的所述部分；以及

将所述机器学习模型迁移到不同加速器的部分。

10.根据权利要求1-9中任一项所述的方法，其还包括：

在使用所述附接加速器上的所述加速器的所述部分、使用所述应用的所述加载的机器学习模型来执行推理之前，基于所述加载的机器学习模型确定要使用的推理引擎。

11.根据权利要求10所述的方法，其中所述推理引擎与所述机器学习模型格式的版本号兼容。