[发明专利]缓存装置及用于缓存装置的缓存数据获取方法

说明书

技术领域

本发明有关于一种缓存装置，更具体地，有关于一种缓存装置及用于缓存装置的缓存数据获取方法。

背景技术

缓存（cache）已经被应用了数十年，用于改进处理器性能。缓存是一种可改进片上系统（system on chip，SoC）性能的已知技术。通常，根据存储大小和与处理器的距离可将缓存划分为多种类型，如一级缓存（level 1 cache）、二级缓存（level 2 cache）和三级缓存（level 3 cache）。

请参考图1，图1为使用传统缓存装置102的SoC系统10的示意图。如图1所示，SoC系统10包括处理装置100、缓存装置102、外部存储控制器104、外部存储装置106和多个系统元件108。处理装置100用于处理从缓存装置102和外部存储装置106获取的数据。其中，外部存储装置106可为位于处理装置100外部的存储装置。多个系统元件108需要来自外部存储装置106的数据，且该多个系统元件108可例如多媒体功能相关元件、外围输入输出端口（peripheral I/O）、调制解调器(modem)等。请注意，当处理装置100与外部存储装置106之间的通信流（traffic stream）被标记为不可缓存（non-cacheable）时，该通信流可直接经由外部存储控制器104进行路由(route)而无需经缓存装置102来进行路由。也就是说，只要指示通信流为不进行缓存，则在处理装置100和外部存储装置106之间直接交换通信流。此外，多个系统元件108和外部存储装置106之间的通信流也不经由缓存装置102进行路由。

通常，可以静态随机存取存储器（static random access memory，SRAM）实现缓存装置102，并以动态随机存取存储器（dynamic random access memory，DRAM）实现外部存储装置106。因此缓存装置102比外部存储装置106速度更快且成本更高。此外，由于处理装置100（例如中央处理单元（central processing unit，CPU））的操作速度比外部存储控制器104和外部存储装置106的共同操作（co-operation）快许多，当从外部存储装置106存取数据时，可能要将处理装置100的操作推迟（postpone）特定数目个时钟周期。因此，为了增加处理装置100的操作速度，处理装置100首先从缓存装置102获取数据，然后当在缓存装置102中找不到所需要的数据时再从外部存储装置106获取数据。

如果从缓存装置102获取数据的几率（probability）增加，则可减少处理装置100存取外部存储装置106中存储的数据时而浪费的空闲时间（idle time），并增加处理装置100的操作速度。然而，缓存装置102的缓存大小是有限的。因此，如何从外部存储装置106有效地预取（pre-fetch）数据以及如何及时地移出（evict）缓存装置102中存储的数据已成为业界的十分重视的问题。

举例而言，如果已经分配(allocate)了缓存装置中所有的缓存行（cache line）但又需要存储一个新的数据元素时，则有必要移出一缓存行来存储该新的数据元素。一种示例的传统缓存替换策略是最近使用（least recently used，LRU）策略，用于选择将要被移出的缓存行。LRU策略选择最长时间处于缓存装置中但并未被存取的缓存行。然而，一些存储行可能存储了曾经被读取然后过时（obsolete）的数据（例如显示数据）。在此情形中，由于一旦读取操作已发生后，存储此类数据的缓存行就可能被移出，因此LRU策略并不是最佳的替换算法。另一种示例的传统缓存替换算法是随机替换策略（random replacement policy），对于具有高度集合关联性（set associativity）的缓存设备而言，当LRU策略实施起来代价过于昂贵的时候经常使用此随机替换策略。随机替换策略随机选择缓存行用于进行替换。但随机替换策略执行起来性能比LRU策略稍差。因此，需要以一种更为有效的方式来选择被移出的缓存行。