[发明专利]虚拟机迁移的方法

说明书

公开了用于迁移虚拟机(VM)的方法和系统，VM具有将人工智能(AI)加速器的资源映射到VM的虚拟功能。AI加速器的驱动器可以生成调用AI加速器的VM进程的检查点，并且检查点可以包括由虚拟功能映射到AI加速器的资源的列表和配置。驱动器还可以访问AI加速器的代码、数据和存储器，以生成AI加速器状态的检查点。当VM迁移到新主机时，这些检查点帧中的一个或二者可用于确保在具有适当AI加速器资源的新主机上恢复VM可以在新主机上成功恢复。可以基于预期需要迁移VM的事件捕获一个或两个检查点帧。

技术领域

本公开的实施例总体上涉及耦接到虚拟机的主机的一个或多个人工智能加速器。更特别地，本公开的实施例涉及迁移使用人工加速器的虚拟机。

背景技术

随着人工智能(artificial intelligence,AI)技术已部署在各种领域，诸如图像分类、医疗诊断或自主驾驶，AI模型(也称为“机器学习模型”)最近已被广泛使用。类似于软件应用的可执行图像或二进制图像，AI模型在训练后可以根据一组属性进行推理以作为特征分类。AI模型的训练可能需要在收集、整理和过滤数据方面进行大量投资，以生成产生有用预测的AI模型。此外，使用AI模型得出的预测可能包含用户希望保护的个人敏感数据。

从AI模型生成预测可以是计算密集型过程。为了为一个或多个用户提供足够的计算能力，一个或多个AI加速器可以耦接到一个或多个虚拟机的主机。为了为计算密集型任务，诸如训练AI模型，提供足够的计算能力，可以将AI加速器组织成集群，然后组织成多个组，每个组可以分配给单个虚拟机。对于强度较低的任务，单个虚拟机可以分配有单个AI加速器。

由于几个众所周知的原因，虚拟机可能需要迁移到不同的主机。现有技术的虚拟机迁移并不保护一个或多个AI加速器在迁移过程中的状态。生成一个或多个人工智能任务的AI应用(至少其中一些任务是在AI加速器上执行的)在迁移到另一个主机后可能会失败或中断。故障可能包括无法捕获AI加速器的配置、存储器内容和计算状态以及无法捕获虚拟机内AI任务的计算状态。

发明内容

在第一方面中，提供一种迁移源虚拟机(VM-S)的方法，所述源虚拟机正在执行访问人工智能(AI)加速器的虚拟功能的应用，所述方法包括：

响应于接收到迁移VM-S和虚拟功能的命令，并且接收到执行迁移中使用的VM-S和虚拟功能的检查点的选择：

记录，然后停止，应用的一个或多个正在执行的AI任务，

生成或选择与虚拟功能相关联的AI加速器的状态，以及

将AI加速器的检查点和状态传输到目标主机的管理程序，以生成迁移后的目标虚拟机(VM-T)；以及

响应于接收到目标主机验证了检查点和AI状态，并且已经生成并配置了用于生成VM-T的资源，并且已经利用来自AI加速器状态的数据加载了目标主机上的AI加速器的通知：将VM-S和虚拟功能迁移到VM-T。

在第二方面中，提供一种编程有可执行指令的计算机可读介质，当由具有通信耦接到人工智能(AI)处理器的至少一个硬件处理器的处理系统执行可执行指令时，实现如第一方面所述的迁移正在执行访问系统的人工智能(AI)加速器的虚拟功能的应用的源虚拟机(VM-S)的操作。

在第三方面中，提供一种系统，包括至少一个硬件处理器，所述至少一个硬件处理耦接到编程有指令的存储器，当由所述至少一个硬件处理器执行所述指令时，使所述系统实现如第一方面所述的用于迁移正在执行访问人工智能(AI)加速器的虚拟功能的应用的源虚拟机(VM-S)的操作。

在第四方面中，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面所述的用于迁移正在执行访问人工智能(AI)加速器的虚拟功能的应用的源虚拟机(VM-S)的操作。

根据本发明的实施例，可以避免AI应用在迁移到另一个主机后会失败或中断。