[发明专利]在用户空间文件系统上实现聚合写文件脏页的方法和装置

说明书

技术领域

本发明涉及Linux操作系统的文件访问技术，尤其涉及一种在用户空间文 件系统(fuse，filesystem in usese space)上实现聚合写文件脏页的方法和装置。

背景技术

在基于Linux操作系统实现的用户态分布式文件系统应用中，需要向用户 提供通常的标准的文件访问接口。用户不需要知道底层是本地文件系统还是分 布式文件系统，都可以通过文件系统挂载点以统一的方式访问。这通常是由用 户态文件系统模块fuse来实现的。fuse驻留在Linux内核，接收用户进程的文 件访问消息，封装成fuse消息传递给用户态文件系统的守护进程。

目前的fuse实现基本满足了一般应用的功能性需求，但难以满足企业级、 电信级分布式文件系统的性能需求，尤其在以内存映射方式(mmap)大批量写 文件数据的时候。在用内存映射方式写文件数据时，用户进程首先打开一个文 件，然后把文件空间映射到内存地址空间，接着向内存地址空间写入数据，最 后解除映射和关闭文件。写入的数据首先存储在Linux内核的页缓存里。Linux 系统会自动把更改过的数据页标记为脏页。在解除内存映射关闭文件时调用页 写(writepage)函数把每个脏页封装成一个fuse消息传送给用户态文件系统守 护进程。

在这种方式下，每一页大小的数据就会产生一个fuse消息。在Linux上， 一个页一般是4KB大小。在写几十MB以上的大文件的时候，会产生非常多的 fuse消息，增加了每次消息交互产生的附加代价，极大地消耗系统的中央处理 器(CPU)资源，传输效率极为低下。

发明内容

有鉴于此，本发明的主要目的在于提供一种在fuse上实现聚合写文件脏页 的方法和装置，减少fuse消息数量，节省系统的CPU资源，提高传输效率。

为达到上述目的，本发明的技术方案是这样实现的：

一种在用户空间文件系统(fuse)上实现聚合写文件脏页的方法，包括：fuse 获取脏页数组；检查脏页数组中连续的脏页，将连续的脏页通过一个fuse消息 传递给用户态文件系统的守护进程。

所述fuse获取脏页数组为：定义原型为页写函数(writepages)的函数 fuse_writepages，函数fuse_writepages根据输入参数，确定文件写的起始页号和 结束页号；清除文件写完成标识，调用查找函数(pagevec_lookup_tag)，并输 入起始页号和结束页号，将带有脏页标志PAGEE_TAG_DCACHIRTY的页，按 页号从小到大的顺序组成脏页数组存储在脏页存储数组(pvec)中。

所述检查脏页数组中连续的脏页，将连续的脏页通过一个fuse消息传递给 用户态文件系统的守护进程为：fuse依次检查脏页数组中的每一页，根据脏页 数组中第一个脏页的页号设置连续号变量，并在将第一个脏页的页地址加入到 fuse消息的页数组中之后，通过连续号变量确定与第一个脏页连续的脏页，将 确定的连续的脏页也加入到所述fuse消息的页数组中，通过所述fuse消息将所 述页数组传递给用户态文件系统的守护进程。

所述方法进一步包括：预先设置最大脏页数，当fuse消息的页数组中脏页 页数达到最大脏页数时，不再继续确定连续脏页，将该fuse消息传递给用户态 文件系统的守护进程。

一种在fuse上实现聚合写文件脏页的装置，包括：获取模块、检查模块、 传递模块；其中，

获取模块，用于获取脏页数组；

检查模块，用于检查脏页数组中连续的脏页，将连续的脏页发送到传递模 块；

传递模块，用于将连续的脏页通过一个fuse消息传递给用户态文件系统的 守护进程。

所述获取模块，具体用于定义原型为writepages的函数fuse_writepages，函 数fuse_writepages根据输入参数wbc，确定文件写的起始页号和结束页号；清 除文件写完成标识，调用pagevec_lookup_tag函数，并输入起始页号和结束页 号，将带有脏页标志PAGEE_TAG_DCACHIRTY的页，按页号从小到大的顺序 组成脏页数组存储在pvec中。