[发明专利]一种机群文件系统客户端存储资源延迟分配方法和系统

说明书

技术领域

本发明涉及机群文件系统存储资源分配技术，特别涉及一种机群文件系统基于客户端的存储资源延迟分配方法和系统。

背景技术

在大规模机群文件系统中，元数据与数据服务分离结构已经成为了一种趋势。元数据服务器负责维护文件系统全局命名空间，以及特别负责维护文件布局（layout）服务，管理文件逻辑地址与磁盘物理地址的映射关系，为文件分配物理存储资源。客户端文件数据访问采用带外方式直接访问存储设备，不必通过元数据服务器，从而获取较高的数据访问性能。客户端文件数据访问过程中，首先获取文件在全局命名空间中的逻辑位置，然后获取文件读写逻辑地址对应的磁盘物理地址，最后访问磁盘物理地址获取数据。

在目前机群文件系统中，客户端访问文件数据时，必须先通过网络交互同步获取文件逻辑地址对应的磁盘物理地址，即获取文件布局，才能够访问文件数据，这对于系统性能造成了很大影响。尤其在海量小文件应用环境中，数据访问比率减小，元数据访问比率增大，同步获取文件布局的访问开销增大。因此，尽量降低访问元数据的开销，减少获取文件布局服务网络交互次数，可以大幅提升海量小文件应用性能。此外，海量小文件应用环境中，虽然数据访问比率减少，但是海量小文件的文件布局分散，数据访问对物理磁盘具有很强的随机性，磁盘磁头需要频繁移动，导致性能降低。因此，缓解海量小文件之间数据访问的随机性对于性能提升也有很大的帮助。

针对减少获取文件布局服务网络交互次数问题，主要有文件布局预分配方法。文件布局预分配方法为文件预先分配一部分存储资源，减少了获取文件布局服务网络交互次数。但是该方法也存在一些问题：

存储资源预分配粒度确定存在困难。如果预分配存储资源粒度较大，无效的预分配存储资源还需要进行回收，增加了操作复杂性，更加重了系统开销；如果预分配粒度较小，则不能有效减少文件布局服务网络交互次数。

由于预分配针对单个文件，无法缓解海量小文件之间数据访问随机性。

针对缓解海量小文件之间数据访问随机性问题，主要有延迟分配方法。延迟分配方法在数据真正要写到磁盘时才进行存储资源的分配，但在大规模机群文件系统中，由于数据访问不通过元数据服务器，无法进行延迟分配。

针对现有技术的不足，本发明提出了一种机群文件系统基于客户端的存储资源延迟分配方法和分配系统，能够减少文件布局服务网络交互次数，并且缓解海量小文件之间数据访问随机性。

发明内容

本发明要解决的技术问题是在大规模机群文件系统中现有技术无法有效减少文件布局服务网络交互次数以及无法有效缓解海量小文件之间数据访问随机性的问题，提供了一种基于客户端的存储资源延迟分配方法和分配系统，以减少文件布局服务网络交互次数以及缓解海量小文件之间数据访问随机性。并且，提供了一种文件删除时存储资源回收方法。此外，提供一种异常宕机情况下的存储资源一致性保证方法，保证客户端或服务器异常宕机情况下的存储资源一致性，保证存储资源不丢失、不重用。

本发明公开一种机群文件系统客户端存储资源延迟分配方法，包括：

步骤1，客户端根据文件布局操作情况，进行存储资源延迟分配；

步骤2，在文件删除时对存储资源回收，处理客户端延迟分配的存储资源回收；

步骤3，对存储资源在客户端与元数据服务器之间的一致性进行维护。

所述的机群文件系统客户端存储资源延迟分配方法，步骤1包括：

步骤21，将存储资源在客户端进行预申请；

步骤22，写文件时客户端的存储资源延迟分配文件布局；

步骤23，异步提交文件布局。

所述的机群文件系统客户端存储资源延迟分配方法，所述步骤21包括：

步骤31，客户端根据申请策略向元数据服务器预申请一定数量的空闲存储资源；

步骤32，元数据服务器根据策略为所述客户端采用存储资源预留方式预分配一定数量的空闲存储资源；

步骤33，客户端在内存中记录预申请获取的空闲存储资源。

所述的机群文件系统客户端存储资源延迟分配方法，所述步骤22包括：

步骤41，写文件时，在客户端从预申请存储资源中分配空闲存储资源；

步骤42，在客户端内存中以文件布局格式记录分配的存储资源；

所述的机群文件系统客户端存储资源延迟分配方法，所述步骤23包括：

步骤51，客户端根据异步提交策略，通过与元数据服务器网络交互，异步提交在客户端内存中记录的文件布局；