[发明专利]缓存管理方法、装置、处理器及计算机装置

说明书

本申请提供缓存管理方法、装置、处理器及计算机装置，通过监测缓存空间中的可用缓存状态；监测下级存储空间的忙碌状态；执行缓存替换操作，包括：基于所述下级存储空间的忙碌状态和可用缓存状态符合写回条件的情形，执行对缓存空间的需写回数据的写回操作。上述方法根据下级存储状态和缓存状态，以主动进行缓存替换的写回操作，既良好利用空余下级存储带宽，也避免因下级存储忙碌而造成写回阻塞引发读/写请求处理延迟，提升处理性能。此外，还可以结合读/写请求的需求情形来优化缓存配置；通过对写回机制进行优化，降低读写的切换，降低下级存储的页表冲突等造成的性能影响，改善存储访问性能。

技术领域

本申请涉及集成电路设计技术领域，尤其涉及缓存管理方法、装置、处理器及计算机装置。

背景技术

高速缓存(Cache)在图形处理单元(Graphics Processing Unit，GPU)设计中具有举足轻重的作用，通过合理的运用缓存，GPU可以有效的提升内部的有效带宽，从而大幅降低对于外部显存带宽的访问需求。

GPU中的可读/写类型的缓存，简称为可读/写缓存。读/写缓存相对于只读(Read-Only)缓存有其天然的复杂性，传统的GPU可读/写缓存主要用于处理深度和颜色信息，不过由于相对简单的访问结构其设计相对简单。但是，随着通用计算在GPU上的不断发展，用于通用计算数据的可读/写缓存也开始广泛地出现在GPU中，由于成千上万GPU线程的访问的地址的随机性，如何更好的提升访问的吞吐量，如何降低数据替换的延迟，以及如何提升GPU外部显存的访问效率是缓存设计的重点难题。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供缓存管理方法、装置、处理器及计算机装置，从而解决现有技术的问题。

为实现上述目标及其他相关目标，本申请第一方面提供一种缓存管理方法，应用于处理器；方法包括：响应于读/写请求，监测缓存空间中的可用缓存状态；监测下级存储空间的忙碌状态；执行缓存替换操作，包括：基于所述下级存储空间的忙碌状态和可用缓存状态符合写回条件的情形，执行对缓存空间的需写回数据的写回操作。

在第一方面的一些实施例中，所述缓存空间包括至少一个缓存单元；在执行缓存替换操作之前，还包括：根据所述读/写请求获取需访问的缓存单元及其未命中的信息；根据所获取的信息预测得到各缓存单元触发写回操作的写回条件参数。

在第一方面的一些实施例中，所述缓存单元为缓存组或缓存行；所述缓存组包括一或多个缓存行。

在第一方面的一些实施例中，所述写回条件参数至少包括：下级存储空间处于非忙碌状态，且剩余的无需写回的可用缓存行不足以满足读/写请求。

在第一方面的一些实施例中，所述写回条件参数还包括：各个缓存单元的写回操作的优先级。

在第一方面的一些实施例中，所述可用缓存状态包括：无需写回的可用缓存行的数目；所述写回条件包括：无需写回的可用缓存行数目不足以满足读/写请求。

在第一方面的一些实施例中，所述下级存储空间通过页表管理；所述执行对缓存空间的需写回数据的写回操作，包括：按逐个页表对相关的需写回数据执行写回。

为实现上述目标及其他相关目标，本申请第二方面提供一种缓存管理装置，应用于处理器；装置包括：可用缓存监测模块，用于响应于读/写请求，监测缓存空间中的可用缓存状态；下级状态监测模块，用于监测所述缓存空间的下级存储空间的忙碌状态；缓存替换模块，用于执行缓存替换操作，包括：基于所述下级存储空间的忙碌状态和可用缓存状态符合写回条件的情形，执行对缓存空间的需写回数据的写回操作。

在第二方面的一些实施例中，所述缓存空间包括至少一个缓存单元；所述缓存管理装置还包括：参数预测模块，用于根据所述读/写请求获取需访问的缓存单元和未命中的信息，并根据所获取的信息预测得到各缓存单元触发写回操作的写回条件参数。