[发明专利]一种机群系统中分片存储模式下文件读取的方法及系统

说明书

技术领域

本发明涉及计算机存储领域，尤其涉及一种机群系统中分片存储模式下文件读取的方法及系统。

背景技术

机群(cluster)系统由互相连接的多个独立计算机所组成，该计算机可以是单机或多处理器系统，例如PC(个人计算机)、工作站或SMP(对称多处理系统)，每个计算机都有自己的存储器、I/O(输入/输出)设备和操作系统。机群系统对用户和应用来说是一个单一的系统，能够提供低价高效的高性能环境和快速可靠的服务。由于机群系统具有高性价比的优势，其已成为高性能计算机的主流结构。

在机群系统中，通常存储服务器配备有大容量的存储设备，在机群系统运作时，需要对这些存储设备进行管理。同时，机群系统还需要为不同客户端的用户提供的文件共享服务。机群文件系统为机群系统提供了上述服务，它将机群系统中的所有存储设备整合起来，建立一个统一的名字空间(文件和目录的组织结构)。各个客户端看到目录结构一致的文件系统，不同节点(客户端)的用户可以采用透明的方式访问相同的文件。机群文件系统中的数据通常不存储在本客户端的磁盘中，而是存储在存储服务器上，因而通常都会设有专用的存储服务器。以写为例，应用进程通过机群文件系统的客户端写数据时，客户端首先将数据通过网络传送到存储服务器端，存储服务器再将接收到的数据写到存储服务器的存储设备中。

预取是一种有效提升文件系统I/O性能的优化技术。文件预取是指在使用一块数据之前预先将其从磁盘读入内存，在预取的数据被真正请求时，省去磁盘访问时间，从而有效减小I/O延迟。

机群文件系统中，由于文件数据不是存储在客户端，而是存储在存储服务器中，存储服务器都配备有自己的CPU、内存、存储设备。因此，在客户端对文件进行顺序访问操作将会触发客户端和存储服务器端的两级预取操作。

目前，大部分机群文件系统采用分片(stripping)的模式存储文件数据，将同一文件的数据在多个存储服务器上分片存储。采用分片存储模式，一方面可以均衡利用所有存储服务器的存储设备的存储空间；另一方面可以提升对单个文件的访问性能。在分片存储模式下，对客户端某一文件的顺序读访问，会导致该文件分片所在的多个存储服务器上的顺序读访问，也会激发多个存储服务器上的顺序预取操作。多个存储服务器上的预取实际上都附属于客户端同一负载的预取，相互间具有关联。然而，存储服务器在预取的过程中不知道客户端的预取信息或相邻分片的预取信息。预取只能在单个节点内部进行。假设文件数据在两个存储服务器上分片存储。当客户端读取到两个相邻分片A和B的交界处时，分片A所属的存储服务器会继续该存储服务器连接于分片A后的C’部分的数据进行预取。然而，该部分数据实际上不会被立即访问到，对数据C’的预取实际为无效预取。在客户端刚刚读取数据B时，分片B所在的存储服务器预读状态信息还需要重新建立，而没有利用客户端负载已有的预取信息。客户端负载的预取信息不能在多个存储服务器的相关读请求之间进行传递。

为了提升存储服务器数据预取的效率，现有技术采用在服务器端缓存预读状态信息的策略。缓存的具体方法包括如下两种。

方法一，网络文件系统(NFS)的存储服务器为每个正在被访问的目标文件缓存预取描述符结构。在第一次读取某一目标文件时，为其初始化一个预取描述符，并使用该预取描述符指导本次预取操作。在关闭目标文件后，存储服务器继续为该文件缓存预取描述符结构。从而，在处理该目标文件的后续读请求时，就可以直接利用缓存的预取信息来指导预取的过程。预读状态信息就可以在请求之间进行传递。客户端进程顺序读取网络文件系统中的文件时，预取描述符缓存机制可以提升文件系统的读性能。

方法二，在存储服务器端为每个目标文件缓存打开文件描述符。由打开文件描述符可以检索到打开文件的文件(file)结构，文件结构中维护了预取描述符信息。它是通过缓存打开文件描述符来缓存预取描述符信息，从而提升文件系统的读性能。

以上两种技术，本质上都是在存储服务器端缓存预取描述符，该类技术可以在单个存储服务器内部将附属于同一客户端负载的相关请求统一处理，在单个存储服务器内部将相关预取过程统一起来，但无法解决分片存储模式下，多个存储服务器之间相关预取的协调问题。

发明内容

为解决上述问题，本发明提供了一种机群系统中分片存储模式下文件读取的方法及系统，用以使机群文件系统中，分片存储模式下，附属于同一客户端负载的多个存储服务器上相关预取操作能够协调、统一处理。