[发明专利]一种对并行文件系统进行文件布局提取的方法和装置

说明书

技术领域

本发明涉及网络文件管理技术领域，特别是涉及一种对并行文件系统进行文件布局提取的方法和装置。

背景技术

在高性能计算领域，多个服务器进行并发读写操作的需求愈为显现。以存储区域网络(Storage Area Network，SAN)为代表的共享块存储设备提供了存储设备的并发访问能力，即多个前端服务器节点可以通过光纤通道、iSCSI等通道直接访问块设备。因而，需要并行文件系统来管理共享块存储设备，以提供前端服务器并发的文件访问能力。

传统的网络文件系统，如NFS，Samba等，以导出本地文件系统的方式提供多服务器的访问。在这种方式中，数据的传输仍然需要经过本地文件系统的存取，而不是直接访问存储设备，因而限制了共享块存储设备的并发访问能力。基于对象的文件系统，如Lustre、Ceph等，需要专用的面向对象存储设备或者模拟的对象存储设备，不适用于共享块存储设备的存储环境。常见的集群文件系统，如GFS(Global File System)、GPFS等，以对称的方式提供文件的管理，即数据与元数据混合放置，每个服务器角色是对等的，这种实现方式存在的显著缺点为：需要借助复杂的集群分布式锁管理协议进行数据的一致性维护。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新地提出一种对并行文件系统进行文件布局提取的方法和装置，以解决现有技术中存在的问题，极大的方便数据的管理，方便了元数据的性能优化。

发明内容

本发明所要解决的技术问题是提供一种对并行文件系统进行文件布局提取的方法和装置，用以保证数据的有效管理，方便元数据的性能优化。

为了解决上述问题，本发明公开了一种对并行文件系统进行文件布局提取的方法，所述方法包括：

应用层通过VFS向文件系统发出读写请求；

客户端检查读写请求的文件布局是否存在且有效：

若是，则使用缓存且有效的文件布局；

若否，则向元数据服务器(Meta Data Server，MDS)请求获取文件布局：

MDS接收到文件布局获取请求后，解析参数，获取请求文件的inode和文件对象；

MDS到元数据文件系统读取该文件的全部文件布局；

MDS遍历该文件的全部文件布局，将请求范围内的扩展段加入到文件布局返回结果中；

MDS将文件布局返回结果返回给客户端；

客户端根据返回的文件布局，将扩展段中的分配组地址映射到实际物理设备的地址，然后进行数据的读写，返回给应用层。

优选的，所述方法在将请求范围内的扩展段加入到文件布局返回结果中之前，还包括：

判定扩展段有没有分配空间：

若扩展段没有分配空间，则向空闲空间管理模块申请空间，同时将该扩展段数据写入元数据文件系统，并加入文件布局返回结果中。

优选的，所述方法在客户端根据返回的文件布局，将扩展段中的分配组地址映射到实际物理设备的地址，然后进行数据的读写，返回给应用层时，还包括：

客户端由用户显式请求或者定时刷回(pdflush线程)请求文件布局提交；

客户端提交已标记的待提交的扩展段，并传给MDS；

MDS接收到文件布局提交请求后，解析相应参数，查找提交文件的inode及文件对象；

MDS从元数据文件系统读取出该文件的全部文件布局；

MDS根据提交请求中扩展段的状态更新读取出的全部文件布局中扩展段的相应状态；

MDS将修改完成后的文件布局写回元数据文件系统，并将成功结果返回给客户端。

优选的，所述方法在客户端进行数据的读写时，还包括：

对进行修改后的扩展段进行标记。

优选的，所述方法在应用层通过VFS向文件系统发出读写请求之前，还包括：

元数据服务器根据用户空间传入的元数据设备构造参数选取元数据存储设备，并在其上建立专用的元数据文件系统；

元数据服务器根据用户空间传入的并行分配组的构造参数，扫描并查找到相应的共享块存储设备的物理设备，在该物理设备头部写入并行分配组标识信息，完成并行分配组(PAG)的添加，用于数据存储；

元数据服务器将新添加的并行分配组标识信息写入元数据文件系统的超级块中；

客户端与元数据服务器建立会话，并向元数据服务器请求获取并行文件系统的并行分配组列表；

客户端根据获得的并行分配组列表向元数据服务器请求获取每个并行分配组的信息，扫描并匹配到相应的共享块存储设备的物理设备，构建并行分配组的数据结构。