[发明专利]基于NUMA虚拟化环境下资源全局亲和度网络优化方法和系统

说明书

技术领域

本发明涉及计算机系统架构、虚拟机资源调度、多核和虚拟机网络性能优化，尤其涉及一种在多核环境下，高效管理虚拟机资源调度来提升虚拟机网络性能的优化方法与系统。

背景技术

虚拟化是云计算中的关键技术。虚拟化技术可以允许多个操作系统运行在一个物理服务器上，将物理机的硬件资源(CPU，内存，I/O设备等等)抽象成虚拟化的资源(虚拟CPU，内存地址映射，虚拟网卡等等)，提供给客户使用。虚拟化技术的使用，极大的减少了小型企业对服务器购买的投入，同时也极大的提高了空闲主机的使用效率，所以虚拟化技术广泛的存在于当今大规模云平台中，比较有代表性的实例有亚马逊的EC2(Amazon Elastic Compute Cloud)和阿里巴巴的阿里云。

同时，当今的云服务器基本上都配备着多个计算核心来保证高性能计算，这些计算核心被组织成非一致性内存访问(Non-Uniform Memory Access,NUMA)架构(如图1所示)，来提升内存访问的带宽。然而，NUMA架构同时也带来了另外一个明显的缺点：本地内存访问和远程内存访问之间存在着巨大的性能差异，如果系统级的应用不感知NUMA数据访问差异就会带来巨大的带宽性能下降，从而影响应用的高效运行。更重要的是这些云服务器也配备着高速的I/O设备(网卡，GPU，SSD(固态硬盘))来支持点对点的数据传输服务。和内存一样，这些I/O设备通过在CPU结点附近的PCIe插槽(Peripheral Component Interconnection高速扩展插槽)链接到计算核心。因此，I/O设备访问计算核心的时候同时也存在着不一致性的特点(I/O远程和I/O本地访问)。现在的一般应用基本都部署在云端，呈现出网络化，分布式的特性，所以高性能的可靠的网络传输对这些应用的有效运行起着关键性的作用，非一致性的I/O访问对性能影响更大。

虚拟化层同时也给基于NUMA的性能优化带来了新的挑战。虚拟化技术中一个关键组件就是虚拟机监视器(Virtual Machine Management,VMM)。虚拟机监视器负责将主机硬件资源抽象给虚拟机使用，同时还负责虚拟机的管理和虚拟机之间的通信等等。传统的硬件资源包括CPU资源，内存资源和I/O资源等，在非一致性内存访问(NUMA)的架构下，虚拟化技术主要关注的是提升这些硬件资源虚拟化过后的性能。然而随着当今高性能网络技术和CPU多核技术的发展，硬件虚拟化的性能已经不是瓶颈，反而这些高性能硬件之间的高效的协同处理成为了瓶颈，特别是在多核环境下，怎样高效的协同调度这些虚拟资源是一件非常具有挑战性的事情。具体的挑战包括了以下三点：

1.首先，当今基于NUMA架构的资源调度器，包括一些商业产品，他们只单一的优化两个资源间的数据访问亲和度。例如，优化虚拟CPU和内存之间的数据访问亲和度，或者内存和网卡之间的亲和度来提升系统带宽吞吐量性能。然而这些调度机制都没有考虑虚拟机多个资源之间的数据访问路径(如图2所示)对整个系统性能的影响，导致系统的性能优化达不到最优。随着高性能物理机的核数的不断增加，放置物理核的节点也不断增加，多物理核怎样高效的访问I/O资源变得越来越重要。

2.现有的基于NUMA架构的虚拟资源调度器也没有考虑到底层硬件拓扑的特性。这些调度器只把硬件资源抽象成相互独立的资源池，而没有考虑到这些硬件资源拓扑信息。例如NUMA节点之间的相互连通性。传统的亲和性建模认为两个节点的互相访问带宽是对称的，然而随着多核处理器的不断发展，不对称的NUMA节点互联架构也变得越来越普遍，所以不考虑不对称的NUMA互联拓扑信息也会导致性能的优化达不到最优。

3.更重要的是，现在基于NUMA架构的虚拟资源调度模型都假设每一个用户(虚拟机)访问每个NUMA结点的可能性是相同的，最终他们的带宽模型也是建立在这个假设之下。然而，这个均等NUMA结点访问假设不符合现在不规则的应用访问模式，所以用这个假设来建模是不准确的。

因此，本发明致力于开发在NUMA架构下，建立基于虚拟化环境下的全局资源的亲和度优化建模，从而高效的利用多核资源和高性能辅助加速硬件的性能，有效的降低系统的负载，适应于当今高性能网络环境下的应用。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种在NUMA架构下基于虚拟化环境的高吞吐量低延迟的虚拟资源实时调度策略，从而提高虚拟机里面运行性能。

为实现上述目的，本发明提供了一种基于NUMA虚拟化环境下资源全局亲和度的网络优化方法，所述方法包括以下步骤：

步骤1、监控虚拟机实时访问行为触发的硬件事件；