[发明专利]基于闪存的存储路径优化的键值存储管理方法

说明书

本发明提出一种基于闪存的存储路径优化的键值存储管理方法，包括：键值存储管理系统直接对裸闪存设备进行管理，绕过文件系统和闪存转换层；在进行物理空间分配时，将键值文件以闪存块为单位分布到闪存设备的不同闪存通道上，同时将键值存储文件以闪存块的整数倍进行存储；在进行数据压缩时，根据前台用户的访问特征，动态的采用相应数量的闪存通道对压缩数据进行写入；在进行数据缓存时，采用压缩感知的缓存算法，对压缩的数据不进行缓存；在进行请求调度时，优先调度用户和前台的压缩请求，根据当前闪存存储设备的可用空间，判断擦除请求调度的优先级。本发明提高了键值存储系统的性能，减少了对闪存设备的写入量，延长了设备的使用寿命。

技术领域

本发明涉及闪存存储技术领域，特别涉及一种基于闪存的存储路径优化的键值存储管理方法。

背景技术

闪存是一种电子式可擦除编程存储器。与传统的磁盘介质相比，闪存具有读写带宽高、访问延迟低、功耗低、稳定性强的特点，目前已经开始在数据中心、个人电脑、移动设备上普及。闪存以页为单位进行读写，当闪存重写一个页之前，需要先进行擦除操作。闪存以块为单位进行擦除，一个闪存块中包含几百个闪存页。闪存的单元具有有限次的擦写操作，即每个闪存单元具有有限的寿命。闪存盘的内部结构和磁盘也有显著的区别。在闪存盘内部，闪存芯片通过不同的通道连接到闪存控制器。在闪存芯片中，封装有多个闪存颗粒，每个颗粒可以独立执行指令。每个颗粒包含多个闪存片，每个闪存片拥有独立的寄存器，可提供多闪存片之间的流水指令执行。通过不同级别的并发，固态盘可提供充足的访问带宽。这一特性被称为闪存设备的内部并发。

目前通用的固态盘是以闪存盘为基础构建的，通过使用闪存转换层对闪存的读写擦除、内部并发进行管理，并向软件系统提供与传统磁盘相同的读写接口。闪存转换层主要包含三种功能：地址映射、垃圾回收和磨损均衡。地址映射是用于记录闪存异地更新过程中逻辑地址和闪存物理地址的映射关系；垃圾回收是选择并擦除失效的闪存页，以恢复空闲状态，留作新数据写入；磨损均衡是为保证数据的可靠存储，将数据均匀的写入每个闪存页中。除此之外，闪存转换层还包含ECC(Error Correction Code，错误检查和纠正)校验、坏块管理等功能。

闪存转换层对闪存的特有性质进行管理，对上层的软件透明。这样现有的软件程序能够在不做任何修改的情况下，运行在固态盘上，节省了软件二次开发和部署的成本。但是将现有的软件，如键值存储管理软件直接部署到闪存存储系统上还存在很多的问题和额外的开销。现有的键值存储管理软件是运行在文件系统之上的。文件系统在功能上，与闪存转换层存在着冗余。例如文件系统与闪存转换层都具有空间分配、垃圾回收、寻址的功能。这些冗余的功能，给软件的性能带来了额外的软件开销。同时，文件系统与闪存转换层存在着语义隔离的问题。闪存转换层不能针对上层的键值存储管理软件做特定的优化，而文件系统也无法感知底层闪存的特性，发挥其内部并发的特性。另一个突出的问题是，在整个当前键值存储系统的存储路径上，所有的软件中间件是基于以前磁盘的特性进行设计和开发的，没有根据闪存和键值存储系统的特性进行优化，不能发挥两者的性能优势。目前针对如何优化基于闪存的键值存储的存储路径的研究较少。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种基于闪存的存储路径优化的键值存储管理方法，该方法提高了键值存储系统的性能，减少了对闪存设备的写入量，延长了设备的使用寿命。