[发明专利]一种容器环境下RDMA虚拟化方法

说明书

本发明属于虚拟化技术领域，具体为一种容器环境下RDMA虚拟化方法。本发明将RDMA管理和使用工作流分离，并放在不同的层次处理，实现软硬件协同的RDMA虚拟化；其中，RDMA管理分为三个部分：设备管理、连接管理和安全管理，通过软硬件辅助虚拟化结合，管理和映射设备上下文和设备资源参数，通过RDMA虚拟组获得隔离，并且提供安全拓展；使用部分由用户层负责，用户层通过RDMA虚拟层提供的设备上下文完成RDMA使用过程。本发明采用软硬件协同方法，提供设备、连接和安全三个维度的管理能力，具有接近硬件RDMA性能的吞吐量性能、低CPU损耗和较好地压力负载可伸缩性，且具有较好的编排能力，并可集成到多个容器环境。

技术领域

本发明属于虚拟化技术领域，具体涉及一种容器环境下RDMA虚拟化方法。

背景技术

随着互联网技术的快速发展，应用的用户规模越来越大，需要的服务器资源越来越多。为了实现对服务器资源的高效利用，云计算通过虚拟化技术将硬件资源池化，予以更高层次的抽象和更细粒度的划分，突破物理实体结构不可分割的特性，以更灵活高效的方式来应用资源。

目前全球大数据对虚拟化技术性能相关的需求日益增长，轻量级容器虚拟化逐渐在云环境中应用，并逐渐成为目前云计算领域流行的资源抽象解决方案。容器从操作系统层面将物理资源和运行环境进行抽象隔离，给用户划分出多个隔离的执行环境，达到较好的启动时间、较高的运行时性能和服务器资源高效利用率等优势。

最近这些年，随着云计算环境需要处理的数据规模指数上升，分散在网络环境中运行的分布式应用需要频繁的通过网络进行通信，因此网络通信成为性能的瓶颈之一。而具备低延迟和高吞吐特性的RDMA网络的出现和普及，增强了网络基础设施的性能，为高性能网络通信问题提供了一种可行方案。因此容器虚拟化需要应用RDMA网络以满足大数据环境下的网络通信性能需求。但是，容器环境中直接使用RDMA的通信过程中流量直接在内存和硬件之间传输，没有对RDMA硬件的管理和隔离机制，无法保证数据流量的安全性，而且也难以满足容器环境网络控制方面的诸多诉求。因此需要通过RDMA的虚拟化。

目前在容器环境下进行RDMA虚拟化主要分为硬件辅助虚拟化和软件辅助虚拟化两种方式。RDMA硬件辅助虚拟化预先将RDMA直接透传给容器环境或者划分成具有独立配置空间的虚拟功能设备提供给容器环境，而不用经过其他的虚拟层模拟，具有较低的通信性能损失，但是由于将管理和使用统一交给用户层处理，数据流绕过容器网络管理，在资源控制和迁移调度上存在限制，导致会缺乏容器必须的网络设备管理和编排等能力；RDMA软件辅助虚拟化将管理和使用全部转发后到中间层处理，利用容器进程和主机进程共用主机操作系统内核的特性，转发控制命令和数据通道共享内存实现RDMA通信，提供对RDMA的管理，但是转发交互整个RDMA工作流程，导致吞吐量的下降并增大网络延迟。现有的硬件辅助RDMA虚拟化和软件辅助RDMA虚拟化二者存在将RDMA资源管理和使用混合在一起放在同一层次进行处理的共同问题，无法兼顾满足RDMA和容器二者的需求。

针对当前RDMA虚拟化工作流没有分离的问题，本发明提出了一种软硬件虚拟化协调的方法，将RDMA管理和使用放在不同的层次进行处理，其中管理部分由RDMA虚拟层进行处理，管理和映射设备上下文和设备资源参数，并且建立通信连接；使用部分由用户层负责，用户层可以使用RDMA虚拟层提供的设备上下文，完成RDMA使用流程的操作，直接在用户层使用RDMA资源。

名词解释

容器是指一种通过操作系统内核提供的隔离和资源管理机制，在操作系统内核之上虚拟出一组资源受到限制，相互隔离的进程的操作系统层上的轻量级虚拟化技术。

RDMA是指一种在通信两端实现内存缓存直接传递，无需操作系统和协议栈的介入的远程直接访问内存的网络技术，发送信息过程通过RDMA CQ（完成队列）、QP（发送队列对）等消息队列异步传输。

RDMA硬件辅助虚拟化是指让虚拟环境内的RDMA应用直接使用物理网络设备，而不用经过虚拟机监视器或其他虚拟层的技术。