[发明专利]一种RDMA虚拟机热迁移的方法、系统及相应物理机

说明书

本发明公开了一种RDMA虚拟机热迁移的方法，包括如下步骤：源物理机的Host主机向RDMA网卡下发虚拟机热迁移同步命令；源物理机的RDMA网卡停止向对端物理机的RDMA网卡发送新的数据报文，同时向对端物理机的RDMA网卡发送一热迁移控制报文；对端物理机的RDMA网卡收到所述热迁移控制报文后，暂停向源物理机的RDMA网卡发送当前数据传输的后续的数据报文；源物理机的RDMA网卡保持其内缓存的表项数据稳定，并将缓存的表项数据同步到源物理机的内存区域；源物理机把所述虚拟机对应的内存页表拷贝到目标物理机的内存区域。本发明还公开了相应的系统和物理机。实施本发明，可提高热迁移的效率，缩短热迁移的时间，以及提高热迁移的成功率。

技术领域

本发明涉及数据存储技术领域，特别是涉及一种RDMA虚拟机热迁移的方法、系统及相应物理机。

背景技术

虚拟机热迁移是指将正在运行的虚拟机，在对业务中断时间和系统性能损失尽量小的目标下，将其从源物理机迁移到目标物理机，在虚拟机热迁移的应用技术中，通过多次循环迭代的方式拷贝虚拟机的页面内存信息是制约虚拟机热迁移效率的主要瓶颈。其中，所采用的拷贝通常采用RDMA(Remote Direct Memory Access，远程直接内存访问)网卡在源内存和目标内存之间通过远程直接内存访问的方式实现。

在虚拟机热迁移过程，系统从源物理机拷贝所有页面到目标物理机，如果源物理机对需要拷贝的内存区域有写操作，则标记对应页面为脏页，如果在拷贝和传输过程中不断出现脏页，则采用迭代拷贝的方式不断拷贝脏页，当迭代拷贝的内存数据收敛或者低于某个阈值时，源物理机暂停虚拟机，拷贝最后一轮脏页和虚拟机状态到目标物理机，然后关掉源物理机的虚拟机，启动目标物理机的虚拟机运行，从而实现了虚拟机从源物理机到目标物理机的热迁移。

现有的这种采用RDMA卡实现虚拟机热迁移的方案存在以下缺点：

在RDMA通信下，主要由硬件完成通信协议的处理，很多内存数据表项是由硬件维护，而且硬件内部通常有缓存空间(cache)缓存更新的数据，跟内存区域的数据不一致，系统从源物理机拷贝内存数据到目标物理机的过程中需要把硬件内缓存的数据同步到内存区域再拷贝，从而导致迭代拷贝的效率低下。其中，内存数据表项包括：QPC(Queue PairContext，队列对上下文)、CQC(Complete Queue Context，完成队列上下文)、SRQC(SharedReceive Queue Context，共享接收队列上下文)以及EQC(Event Queue Context，共享接收队列上下文)。

在RDMA通信下，当源物理机在迭代拷贝的时候，与之通信的对端物理机无法感知源物理机正在迁移，仍然给源物理机发送数据报文。当源物理机的RDMA网卡接收到数据报文进行处理时又会在硬件内产生新的脏数据，需要系统不停的同步网卡内的脏数据到内存区域，也导致迭代拷贝的效率低下。

同时，在RDMA通信下，当源物理机暂停被迁移虚拟机时，被迁移虚拟机不能再处理与之通信的对端物理机的数据报文，对端物理机的数据报文被丢弃，如果被迁移虚拟机暂停时间过长，导致与之通信的对端物理机长时间无法收到已发送数据报文的响应而产生超时重传，甚至超时重传溢出会导致对端物理机RDMA网卡断链，即使被迁移虚拟机最终完成内存数据搬移，也无法在目的物理机恢复与对端的通信。

发明内容

本发明所要解决的技术问题在于，提供一种RDMA虚拟机热迁移的方法及装置，可以快速且平滑地实现RDMA虚拟机热迁移，且提高了热迁移效率以及成功率。

为解决上述技术问题，作为本发明的一方面，提供一种RDMA虚拟机热迁移的方法，其至少包括如下步骤：

获取对源物理机中被迁移虚拟机的内存数据进行迁移的迁移请求，源物理机的Host主机向RDMA网卡下发虚拟机热迁移同步命令；

源物理机的RDMA网卡停止向对端物理机的RDMA网卡发送新的数据报文，同时向对端物理机的RDMA网卡发送一热迁移控制报文；