[发明专利]一种基于RDMA的集群系统节点间按需共享内存的方法

说明书

本发明公开一种基于RDMA的集群系统节点间按需共享内存的方法，将集群系统中的节点分为内存供给者、内存请求者、自给自足者三类；内存供给者在集群系统中公告内存共享信息，以块为单位向其他节点提供远程共享内存；当内存请求者中内存不足时，通过RDMA使用内存供给者提供的共享内存，以块为单位将这部分内存映射到内存请求者的虚拟地址空间为扩展内存；内存请求者中的应用程序访问扩展内存时，将触发缺页中断，由虚拟内存管理子系统进行内存页的换入和换出，实现应用程序的透明内存访问。本发明具有访存速度快、系统架构简明、软件系统开销低的特点，通过节点间的内存共享，可提高集群系统的资源利用率，降低成本。

技术领域

本发明涉及分布式存储系统技术领域，特别涉及一种基于RDMA(远程直接内存访问Remote Direct Memory Access)的集群系统节点间按需共享内存的方法。

背景技术

内存是当今数据中心服务器征用最多、弹性最小的资源，即使另一台服务器上的内存可供使用，应用程序也只能使用本地内存。这样的情况会在内存压力下不必要地终止工作负载，并降低服务器的利用率。数据中心为满足多样化的应用需求，通常为节点配置充足的硬件资源。在以CPU为中心进行资源分配的虚拟化和多租户技术支持下，处理器(核)资源通常可以得到充分利用，而内存普遍存在着分配剩余的情况。Google和Alibaba的服务器内存平均利用率仅为60％，而不同服务器之间的内存利用率差异却很大，一旦服务器耗尽了可用内存，一些正在运行的应用程序就必须被迫终止。被终止的应用程序和执行状态都会丢失，恢复这些工作负载既浪费时间又浪费精力。由于数据中心节点数量众多，其中大约30％的服务器内存是“冷的”，各节点的空闲内存累计后数量可观，这一资源浪费不但增加了硬件成本，而且还增大了数据中心能耗。目前，分布式系统与高速互连网络的结合使用是解决上述问题的首选方案。

分布式共享内存(Distributed shared memory，DSM)是分布式系统发展中出现的一种重要技术。分布式共享内存系统提供给程序员一个逻辑上统一地址空间，集群中的所有节点都可以对这一地址空间直接进行读写操作。具有分布式内存结构可扩充性的优点，也具有共享内存结构通用性好、可移植性、编程容易的优点。分布式共享内存系统提供了通过消息传递实现的共享内存的抽象，与远程内存访问(Far Memory)一样，分布式共享内存系统访问远程内存时可以通过多种手段，既可以基于页面，又可以基于对象，但是分布式共享内存系统与远程内存访问在概念和实践上却有所不同。从概念上讲，分布式共享内存系统提供了不同的抽象，其中数据在不同主机之间共享。实际上，这种抽象会导致复杂性和低效，因为分布式共享内存系统需要影响性能的高速缓存一致性协议。例如，访问数据必须确定远程缓存是否保存数据的副本。相比之下，远程内存访问中的数据是主机的私有数据——这是一种更严格的抽象，可以更高效地实现远程内存。此外，分布式共享内存系统是几十年前设计的，现代的硬件体系结构细节和常量与其环境不同。

远程直接内存访问(Remote Direct Memory Access，RDMA)是一种新的高速互连网络，RDMA让计算机可以直接读写其他计算机的内存，而不需要经过CPU的处理。RDMA将数据从一个系统快速移动到远程系统的内存中，而不对操作系统造成任何影响。在实现上，RDMA实际上是一种智能网卡与软件架构充分优化的远端内存直接高速访问技术，通过将RDMA协议固化于硬件(即智能网卡)上，以及支持Zero-copy和Kernel bypass这两种途径来达到其高性能的远程直接数据存取的目标。RDMA的优势如下：

(1)零拷贝(Zero-copy)，应用程序能够直接执行数据传输，在不涉及到网络软件栈的情况下。数据能够被直接发送到缓冲区或者能够直接从缓冲区里接收，而不需要被复制到网络层；

(2)内核旁路(Kernel bypass)，应用程序可以直接在用户态执行数据传输，不需要在内核态与用户态之间做上下文切换；