[发明专利]多处理器系统中的中继一致存储器管理

说明书

描述了用于存储器管理的方法和装置。在所公开的实施例中，一种系统具有第一处理器和第二处理器，其中每个处理器能够访问存储器系统。第一工作单元被接收以用于由第一处理器执行，其中存储器系统被访问。在第一工作单元的执行时，第二工作单元被生成以用于由第二处理器执行。仅在存储器系统被更新之后，由第二处理器对第二工作单元的处理才发生。这种基于工作单元消息的排序为多个处理器的存储器操作提供了中继一致性。

交叉引用

本申请要求于2017年4月10日提交的美国临时专利申请第62/483,844号和于2018年2月2日提交的美国临时专利申请第62/625,518号的权益，每个申请的全部内容通过引用整体并入本文。

技术领域

本公开涉及例如在联网和存储领域中用于处理信息的分组的多处理器系统。

背景技术

网络设备(例如，防火墙、交换机、路由器、存储装置/计算服务器或其他网络连接设备)通常利用多核处理器系统或多处理单元系统来实现提高的性能。然而，利用具有多个处理单元的系统来处理诸如网络分组数据的流可能带来很多编程挑战。例如，通常难以将一个分组或一组分组的处理从一个处理单元移动到另一处理单元，诸如为了跨处理单元的负载平衡。将程序执行从一个处理单元转换到另一处理单元可能很困难，并且通常需要蛮力移动或状态的映射、高速缓存的数据以及与程序执行相关联的其他存储器块。在实现高吞吐量和利用率的同时保持跨处理单元的高速缓存的数据和其他存储器的一致性通常在技术上极具挑战。例如，当使用相干存储器时，由存储器相干协议执行的操作可能导致显著的处理开销和延迟。当使用非相干存储器时，相干协议的开销被避免，但是某些处理单元可能无法访问由另一处理单元高速缓存的数据。

例如，存储器可以在具有两个或更多个同时运行的处理器的多处理器或多核系统中被共享，每个处理器具有一个或多个本地存储器高速缓存。然而，如果一个处理器或核改变特定存储器位置处的数据，则通常存在用以将改变通知给所有处理器或核以使相应的本地存储器高速缓存无效或利用已更新信息刷新高速缓存的过程。这种过程通常被称为存储器相干协议，并且根据该协议操作的存储器被称为相干存储器。通常，支持相干存储器需要跟踪高速缓存行状态并且处理针对被高速缓存在处理器或处理核以及系统的其他元件内的所有存储器块的相关联的事务。

相反，非相干存储器不提供跟踪和更新数据以保持高速缓存相干性。在没有与传统相干存储器系统相关联的处理开销和延迟的情况下，存储器访问和利用可以非常快速和高效。存在大量的应用不能从相干存储器系统受益，特别是那些线性地处理数据的应用(例如，处理一次，因此访问的时间局部性很差)。这些“流”应用(诸如联网和存储基础结构工作负载)在大型数据中心中变得越来越重要。对于这样的应用，使用相干存储器系统往往会导致大量开销，而回报却很少。

发明内容

描述了这样的技术，其中具有多个处理单元的系统在处理流水线中处理一系列工作单元，其中一些或所有工作单元访问或操纵被存储在非相干存储器中的数据。在一些示例中，处理单元可以是处理核，并且在其他示例中，处理单元可以是虚拟处理器、硬件线程、硬件块或其他子处理核单元。如本文所述，处理单元可以对由工作单元指定的数据执行操作。在处理工作单元时，处理单元可以将来自非相干存储器的数据高速缓存到与处理单元相关联的高速缓存的段中，并且使用该高速缓存的数据执行由工作单元指定的操作。一旦工作单元已经完成了处理，处理单元就可以针对该段(或该段的一部分)发起高速缓存刷新以将脏高速缓存数据写回到非相干存储器。非相干存储器或非相干存储器的一部分的所有权的转移可以通过工作单元消息向另一处理单元的递送而被居间(mediate)。工作单元消息的递送可以与相关高速缓存段中的数据的刷新互锁(由其门控)。