[发明专利]数据结构优化的专用存储器缓存

说明书

本发明公开了与缓存有关的方法和系统。一种公开的系统包括至少一个存储至少两个数据结构的存储器。所述至少两个数据结构包括第一数据结构和第二数据结构。所述系统还包括至少两个缓存，第一缓存用于缓存所述第一数据结构，第二缓存用于缓存所述第二数据结构。所述系统还包括与所述至少两个缓存通信连接的控制器。所述控制器基于所述第一数据结构单独配置所述第一缓存，并且基于所述第二数据结构单独配置所述第二缓存。所述系统还包括至少一个与所述至少两个缓存通信连接的处理器。所述处理器在执行复杂计算期间使用所述至少两个缓存访问所述至少两个数据结构中的每一个。

技术领域

本发明涉及计算机缓存领域有关的方法和系统，尤其涉及数据结构优化的专用存储器缓存。

背景技术

缓存是存储数据的组件。它们可以在硬件或软件中实现。诸如处理管道(processing pipeline)、操作系统、web浏览器或其他客户端之类的计算组件可以通过向缓存发送访问请求来从缓存获取存储的数据，并通过向缓存发送存储请求来将数据存储在缓存中。缓存可以通过返回作为访问请求主题的数据或存储作为存储请求主题的数据来服务这些请求。缓存可以将数据存储在缓存存储器中，缓存存储器存储少量数据，但可以快速提供数据，或者，缓存可以将数据存储在后备存储器中，后备存储器可以存储更多数据，但提供数据的速度较慢。

图1是用于说明本发明公开中使用的一些术语的缓存操作的框图100。该框图显示了处理访问请求和检索数据的缓存操作，但类似的原则适用于处理存储请求。框图100包括客户端110，客户端110将访问请求111发送到缓存120并保持访问请求响应112。如果缓存成功，则访问请求响应112将包括所请求的数据。一旦接收到访问请求111，缓存120将从缓存存储器122检索请求的数据，或者，如果数据不在缓存存储器122中，则从后备存储器130检索请求的数据。缓存存储器122和后备存储器130的示例分别是高速静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)。缓存还可以包括具有不同类型存储器的后台存储，这些存储器根据存储器的速度分为不同的级别，更高的级别被更高速度的存储器占有。如在本发明公开中所使用的，如果数据被存储为可在访问请求响应112中访问以返回，则数据被缓存存储器120“缓存”，而不管数据是存储在缓存存储器122中还是存储在后备存储器130中。

如果缓存能够预测请求哪些数据并将数据存储在更快的存储器中，则缓存可以更快地处理访问请求。当缓存成功地预测在访问请求中将请求哪些数据，并且数据可用以及数据存储在缓存存储器122中时，这可以被称为缓存“命中(hit)”。如果数据在缓存存储器122中不可用，并且缓存120必须从后备存储器130访问数据，则可以将其称为缓存“未命中(miss)”。缓存控制器121可配置为将缓存命中访问请求的比率最大化，以及将使用访问请求响应112服务来自客户端110的访问请求的总体速度最大化。缓存控制器121可以配置为利用访问请求中的预期的空间和时间局部性来改进这些度量。缓存控制器121还可以通过改变数据被标记以指示其在缓存存储器122中的存在和位置、改变当缓存存储器122中的数据被后备存储器130中的数据替换时的策略、改变存储在缓存中的数据何时直接写入后备存储器130或存储在缓存存储器122中的策略的方案和方式以及许多其他方法来配置。

发明内容

本发明公开了与计算机缓存领域有关的方法和系统。具体公开的实施例涉及具有至少两个缓存的计算系统，其中每个所述缓存专用于特定数据结构，并且针对该数据结构进行优化。所述数据结构可用于存储用于单个复杂计算的数据，该计算需要存储在至少两个缓存中的数据。所述缓存可以优化为缓存分配给它们的数据结构，以将延迟最小化并将访问请求响应的吞吐量最大化。所述优化可以包括将所述缓存的命中率和处理所述访问请求的速率最大化。所述优化可以通过基于对所述数据结构中的所述数据的评估，或基于服务于所述数据结构的所述缓存的访问请求方面性能的评估改变所述缓存来实现。