[发明专利]融合Linux虚拟内存系统和文件系统的持久性内存统一管理方法

说明书

本发明公开了一种融合Linux虚拟内存系统和文件系统的持久性内存统一管理方法，该方法将存储资源分为普通文件与内存文件，并统一普通文件与内存文件的分配方式，进程的内存页框与文件块处于同一地址空间；进程对内存页框的匿名映射被修改为对PM数据块的映射，并通过文件预扩展策略与异步块回收策略优化内存分配效率；系统的文件读写采用从用户缓冲区的虚拟地址到目标文件块物理地址的重映射操作，以消除不必要的数据拷贝。本发明实现了单个PM分区可同时提供内存分配和文件存储服务，利用内存和文件系统统一管理的优势，通过减少数据拷贝来提升文件读写性能。

技术领域

本发明属于持久性内存存储技术领域，具体涉及一种融合Linux虚拟内存系统和文件系统的持久性内存统一管理方法。

背景技术

随着PCM、ReRAM、STT-MRAM和3D-XPoint等新型非易失存储器技术(NVM,Non-Volatile Memory)的发展，NVM和DRAM之间的速度越来越接近，基于NVM的内存设备也陆续在市场中出现，这种设备被称为持久性内存(PM,Persistent Memory)。由于PM基于NVM介质，并直接连接到内存总线，因此PM兼具内存的可字节寻址特性和外存的数据持久性特性。

不同于固态硬盘(SSD,Solid State Drive)主要针对外存储性能的改进，PM的出现还给操作系统的存储层次抽象带来了新的挑战。近年来的相关工作，大多是针对PM单纯作为内存或单纯作为外存开展研究的。其一是在内核中实现的PM感知文件系统，它们考虑到PM细粒度持久化的特点，利用了不同方法来解决崩溃一致性问题，并优化了文件操作的性能。其二是实现在用户态的PM感知文件系统，减少了内核态和用户态之间切换。PM感知文件系统需要应用程序主动利用文件映射的方式操作文件，并且由于PM分区被格式化为文件系统，应用程序无法再从该分区分配内存使用。另一方面，一些工作在现有内存管理系统的基础上针对PM加入对数据持久化的支持，优化了PM内存空间分配，降低了分配延迟，并将降低碎片率作为研究目标。这些PM内存管理系统的接口大多与现存的内存分配接口、文件操作接口不兼容，增加了现有应用程序或基础软件库的移植和维护难度。

操作系统领域现有PM虚拟化的相关工作大多从PM用作内存或PM用作存储两个方向着手，解决各自所面临的问题。但是，以PM作内存会牺牲其持久性或是需要应用适配新的编程接口，以PM作存储又会导致PM设备无法用于进程的内存分配。

发明内容

本发明的目的是为了解决当前持久性内存的资源管理方案无法兼顾持久化特性和可字节寻址特性的问题，而提出一种融合Linux虚拟内存系统和文件系统的持久性内存(PM)统一管理方法。

本发明是通过以下技术方案实现的：

一种融合Linux虚拟内存系统和文件系统的持久性内存(PM)统一管理方法，将存储资源分为普通文件与内存文件，并统一普通文件与内存文件的分配方式，进程的内存页框与文件块处于同一地址空间；

内存分配和释放：进程对内存页框的匿名映射被修改为对PM数据块的映射，并通过文件预扩展策略与异步块回收策略优化内存分配效率；

零拷贝读写：系统的文件读写采用从用户缓冲区的虚拟地址到目标文件块物理地址的重映射操作，以消除不必要的数据拷贝。

在上述技术方案中，普通文件支持直接读写操作，内存文件不支持直接读写操作，只支持被映射到进程的虚拟内存地址空间；内存文件所管理的文件块被用户进程用作易失内存使用；内存文件块和普通文件块的分配和释放都依赖于Linux内核的Ext4-DAX文件系统的块分配器。

在上述技术方案中，在用户进程申请内存时，从进程对应的内存文件末端进行扩展并将新扩展的部分映射到用户地址空间并返回这个地址；在用户进程释放内存时，首先会删除对应的虚拟映射区，然后调用ext4_punch_hole，利用文件系统的文件打洞特性将该虚拟映射区对应的内存文件块回收。