[发明专利]针对内存端缓存的数据动态旁路装置及方法

说明书

本发明提供了一种针对内存端缓存的数据动态旁路装置，硬件计数器模块、命中率监测模块、旁路寄存器以及旁路决策器。本发明还提出一种针对内存端缓存的数据动态旁路方法，包括以下步骤：访存控制器单元在收到3D‑DRAM缓存的访问结果后，向数据动态旁路装置发送地址映射信息及请求类型；数据动态旁路装置接收并根据地址映射信息及请求类型记录和统计命中/缺失数，并生成旁路信号返回至访存控制器单元；读缺失时，访存控制器单元根据数据动态旁路装置返回的旁路信号进行缺失填充操作。本发明能够能够显著减少内存端缓存缺失填充操作引起的带宽开销，同时还能避免引起内存端缓存命中率恶化。

技术领域

本发明涉及计算机多核存储系统领域，具体涉及一种基于内存端缓存的高速缓存的数据动态旁路装置及方法。

背景技术

在计算机领域，长期以来存在的问题是内存的存取速度严重滞后于处理器的计算速度，内存瓶颈导致高性能处理器难以发挥出应有的功效，从而对日益增长的高性能计算需求形成了极大的制约。这种阻碍处理器性能发挥的内存瓶颈被称为“内存墙”。近年来，存储器制造商研发出新型的3D存储器件来解决这一挑战。3D存储器件通过3D封装技术，将多层DRAM堆叠而成。其中，混合存储立方体(HybridMemory Cube，HMC)和高带宽存储(HighBandwidth Memory，HBM)是两种新型的3D存储器技术。3D存储芯片在带宽性能方面具有显著优势，然而由于容量相对较小且成本高，并不能取代传统DIMM。目前已有的解决方案是将3D存储器件和传统双列直插式存储模块(DIMM)结合使用，将3D存储器件构建为传统DIMM的内存端缓存，分别利用3D存储器件的高带宽、低延迟，以及传统DRAM大容量、低成本的优势，寻求性能和成本上的最优化存储系统的解决方案。

与传统存储系统相比，采用3D存储芯片构建的内存端缓存混合存储系统，其优势在于提供更高带宽，缩短访问延迟；缺点在于缓存一致性维护机制降低了系统带宽的利用率。由于DRAM缓存不具备SRAM缓存特定的访问端口(如标签/数据端口，读/写端口)，所有的操作都需要共享同一个接口，所以3D存储器件用作内存端缓存时，维护缓存一致性所需的次级操作会引起传输链路高额的带宽开销，降低了系统带宽的利用率。维护缓存一致性的次级操作包括：缺失探测(为了检测缺失，需要查询DRAM缓存中的标签存储)，写回探测(当片上末级高速缓存中的脏块被驱逐出时需要检测其是否存在DRAM缓存中)，写回更新(如果写回探测命中，则更新DRAM缓存中的内容)，写回填充(如果写回检测缺失，将主存中的数据填写进DRAM缓存)。其中较为显著的是当DRAM缓存发生读请求缺失时，访存控制器需要向主存请求数据，并将数据填回至缓存中，这一操作被称为缺失填充。缺失填充的带宽开销可达数据传输的60％-70％，但填充数据很多情况下并不会被后续应用程序所访问，因此对这一缺失填充操作进行优化从而降低带宽开销尤为必要。

通常采用旁路机制来减少缺失填充操作引起的带宽开销，其原理为改变数据传输通路，当读请求发生缺失时，直接从主存获取数据，取回的数据并不填回内存端缓存，从而减少3D存储器件的请求数量，提高器件的命中延迟，降低带宽开销。已有的旁路机制需要设定旁路概率，即不进行缺失填充操作的请求比例，这种方式存在两个明显缺陷：一是无法适应程序运行的各个阶段，如运行初期旁路缺失填充操作导致缓存无法快速装载数据；二是带宽优化效果与旁路概率呈正相关，旁路概率越高，优化效果越明显，但高的旁路概率会导致缓存中的内容无法及时更新造成后续访问缺失，恶化缓存命中率，降低系统性能。

发明内容

本发明要解决的技术问题是提供一种能够实现旁路机制的动态开启的针对内存端缓存的数据动态旁路装置及利用该装置进行的动态旁路方法，从而避免恶化缓存命中率，减少缺失填充操作引起的链路带宽开销。

为解决上述技术问题，本发明提出一种针对内存端缓存的数据动态旁路装置：

所述数据动态旁路装置(即，动态旁路装置)包括硬件计数器模块、命中率监测模块、旁路寄存器以及旁路决策器；