[发明专利]一种机群文件系统中缓存管理的方法及系统

说明书

技术领域

本发明涉及计算机存储领域，尤其涉及一种机群文件系统中缓存管理的方法及系统。

背景技术

机群(cluster)系统由互相连接的多个独立计算机所组成，该计算机可以是单机或多处理器系统，例如PC(个人计算机)、工作站或SMP(对称多处理系统)，每个计算机都有自己的存储器、I/O(输入/输出)设备和操作系统。机群系统对用户和应用来说是一个单一的系统，能够提供低价高效的高性能环境和快速可靠的服务。由于机群系统具有高性价比的优势，其已成为高性能计算机的主流结构。

在机群系统中，通常存储服务器配备有大容量的存储设备，在机群系统运作时，需要对这些存储设备进行管理。同时，机群系统还需要为不同客户端的用户提供的文件共享服务。机群文件系统为机群系统提供了上述服务，它将机群系统中的所有存储设备整合起来，建立一个统一的名字空间(文件和目录的组织结构)。各个客户端看到目录结构一致的文件系统，不同节点(客户端)的用户可以采用透明的方式访问相同的文件。机群文件系统中的数据通常不存储在本客户端的磁盘中，而是存储在存储服务器上，因而通常都会设有专用的存储服务器。以写为例，应用进程通过机群文件系统的客户端写数据时，客户端首先将数据通过网络传送到存储服务器端，存储服务器再将接收到的数据写到存储服务器的存储设备中。

缓存技术是一种有效提升计算机性能的优化技术。文件缓存指的是在计算机系统的内存中暂时保留一些磁盘文件数据的副本，利用存储访问的局部性原理，减少对磁盘设备的访问次数，从而达到提高性能的目的。

伴随新的存储结构的诞生以及机群文件系统的发展，缓存结构也发生了新的变化。为了改善性能，机群文件系统存储服务器端和客户端都会使用大容量的主存来缓存文件数据。这些缓存构成了多级缓存体系结构，如图1所示。文件数据既可能缓存在客户端中又可能缓存在服务器中，但如果没有对多级缓存进行有效地管理，即使增大缓存的空间，缓存所带来的性能提升也不会成比例地增长。

机群文件系统中，应用程序对文件发起顺序读访问时，文件系统的客户端和存储服务器的顺序预取机制都会被触发。预取数据首先被从服务器端的磁盘预取到服务器的内存，然后再通过网络传递到客户端的内存。由于文件缓存往往采用LRU(Least Recently Used，最近最少使用)替换策略。所以，预取数据既会被缓存在客户端的内存中，又会被缓存在存储服务器的内存中。假设在被真正访问之前，预取数据都会被缓存在内存中而不会被提前替换。那么，这两级缓存的内容是完全重复的，如图2所示客户端将预取的数据，图中AB对应数据，缓存在内存中，服务器也会将预取的数据，A’B’对应数据，缓存在内存中，AB和A’B’的内容完全重复。如果预取数据在客户端的内存中命中，那么将不会再向存储服务器发起新的请求。如果预取数据没有在客户端内存中命中，那么它也不会在存储服务器端的内存中命中。所以，在上面的假设条件成立的情况下，服务器端缓存的预取数据将永远不会命中。存储服务器的该部分内存实际上缓存了无效的数据。只有预取数据被提前从客户端内存中替换时，存储服务器端缓存的数据才可能命中。然而，该种情况通常不会出现。因为单个存储服务器通常为多个客户端服务。而且，机群文件系统中的存储服务器一般是由普通的PC(个人计算机)构成。所以存储服务器端的内存比客户端更加稀缺。

机群文件系统中的缓存体系结构主要存在两个问题。问题一，存储服务器低级缓存与客户端高级缓存有着不同的访问特征。存储服务器内存访问的通常为客户端高级缓存不命中的数据，所以存储服务器内存访问的局部性较弱。传统的基于局部性原理的缓存替换策略如LRU不适用于存储服务器端的缓存。问题二，如果没有将不同级级缓存管理联系起来，则在各级缓存中会缓存大量重复的数据，低级缓存的命中率低和缓存空间利用率。