[发明专利]能够实现不同物理域地址空间的节点间的聚类的存储总线协议

说明书

相关申请的交叉引用；优先权要求

本申请要求2012年10月2日提交的美国申请61/709,142，“TECHNIQUES FOR ACCELERATING DATABASE OPERATIONS”的优先权，该申请的整个内容通过引用并入于此，如同在此被完整地阐述一样。

本申请通过引用包含与本申请同日提交的美国申请(卷号No.50277-4091)“REMOTE-KEY BASED MEMORY BUFFER ACCESS CONTROL MECHANISM”的整个内容，如同该申请在此被完整地阐述一样。

技术领域

本发明一般地涉及改善集群中的节点间通信的协处理器，并且更具体地，涉及处理用于改善节点间通信的链路到链路协议的协处理器。

背景技术

单个处理系统的性能已极大地增强。然而，利用处理系统或节点的集群，可获得更高的性能。获得高性能集群的关键因素是节点间的通信。图1描述一种早期技术，其中每个都具有自己的CPU 108a-c和本地存储器110a-c的处理节点102、104、106通过公共总线110经由接口112a-c被相互耦接。各个节点102、104、106被允许访问其它节点的存储器，使得这些处理节点可被看作共享一个大型存储器。这种共享总线体系结构的一个缺点在于总线很快变成性能限制要素，因为所有的节点间通信列队竞争使用总线。一旦总线110变得饱和或几乎饱和，增加额外的节点几乎不能带来改善。

在认识到共享总线体系结构的缺点的情况下，采用了图2中描述的另一种技术。图2中，集群中包含CPU 216a-e和存储器218a-e的节点202、204、206、208、210通过专用高速点对点通信链路220a-j互连。如果使用足够的点对点连接220a-j来创建链路的架构，则可实现更高的性能，因为不存在共享总线争用。然而，点对点通信链路220a-j遵守复杂的分层通信协议，以保证通信的正确性和鲁棒性。这种体系结构要求接口214a-t中的I/O处理器执行这种复杂协议以及转换和验证源地址和目的地地址。因为在执行所述协议和地址转换方面，I/O处理器通常比主CPU慢得多，并且因为接口和相应节点的存储器之间的耦接不良，因而执行这些通信任务会降低性能。从而，尽管在集群中实现较高的性能，但是通信开销和不良的耦接导致性能增益达到上限。

本节中说明的方法是可推行的方法，不过不一定是以前已构思或推行的方法。于是，除非另有说明，否则应认为在本节中说明的任何方法仅仅由于被包含在本节中而被当作现有技术。

发明内容

实施例提供一种集群中的节点间通信，它具有很低的开销，并且允许节点之间的直接存储器到存储器通信，其中每个节点驻留于单独的物理地址空间。所述实施例改善了通信延迟和带宽，并提供物理地址空间之间的硬件认证访问和错误检验。所述实施例提高集群的性能，允许集群表现得更像单一系统。所述实施例还允许更大数目的节点，因为性能与节点的数目成比例。

所述实施例使得能够包含在节点本地的高速非易失性存储器，比如PCM(相变存储器)或者NVRAM，并能够在分布式集群环境中高带宽地共享存储器。

一个实施例是一种计算机系统，所述计算机系统包括多个计算节点和多个点对点物理通信链路。所述多个计算节点中的每个计算节点包括协处理器和与该协处理器耦接的存储器，其中每个存储器驻留于单独并且不同的物理域中。所述多个链路中的一个或多个通信链路耦接在所述多个节点中的每对节点之间，其中节点中的每个协处理器耦接到所述一个或多个通信链路，以通过至少一个通信链路传送数据。每个协处理器被配置成利用准许访问另一个节点中的存储器的一部分的证书，在耦接到协处理器的存储器和该协处理器通过一个或多个通信链路所耦接到的所述另一个节点的存储器之间传送数据，或者利用授予对另外两个节点中的第一个节点之中的存储器的一部分的访问权限的第一证书以及授予对另外两个节点中的第二个节点之中的存储器的一部分的访问权限的第二证书，在集群中该协处理器通过一个或多个通信链路所耦接到的另外两个节点之间传送数据。

附图说明

图1表示共享总线体系结构；

图2表示交换架构体系结构；

图3描述实施例在其中工作的集群；

图4A描述图3的集群中的一对节点；

图4B描述协处理器及其接口；

图5描述节点之间的地址空间的模型；

图6描述管理程序和协处理器之间的同步；

图7描述本地节点和远程节点之间的命令操作；