[发明专利]基于闪存的存储路径优化的键值存储管理方法

权利要求书

1.一种基于闪存的存储路径优化的键值存储管理方法，其特征在于，包括以下步骤：

S1：通过键值存储管理系统直接对裸闪存设备进行管理，绕过文件系统和闪存转换层，其中，所述裸闪存设备直接将设备的内部结构信息，导出到用户态，并通过特定的接口，使得键值存储管理系统能够在用户态，所述键值存储管理系统不包括文件系统和闪存转换层，直接对裸闪存设备进行管理，其中，所述设备的内部结构信息至少包括闪存通道数量，闪存块大小，闪存的读写、擦除控制信息；

S2：在所述键值存储管理系统进行物理空间分配时，采用并发数据布局方法，将键值文件以闪存块为单位分布到闪存设备的不同闪存通道上，同时，键值存储管理系统将键值存储文件以闪存块的整数倍进行存储；

S3：在所述键值存储管理系统进行数据压缩时，采用动态压缩方法，根据前台用户的访问特征，动态的采用相应数量的闪存通道对压缩数据进行写入，其中，所述动态压缩方法，具体包括：所述键值存储管理系统在对键值数据进行后台压缩时，先判断前台用户请求的读写比例，当用户的写比例大于第一预设比例时，所述键值存储管理系统使用所有的闪存通道写入压缩后的键值文件，当用户的请求中，读比例高于第二预设比例时，所述键值存储管理系统会使用一半的闪存通道写入压缩文件；所述键值存储管理系统通过对连续两次压缩操作之间的用户请求类型进行记录，来进行判断读写比例；对于用户的前台压缩请求，所述键值存储管理系统会使用所有的闪存通道，进行数据写入；

S4：在所述键值存储管理系统进行数据缓存时，采用压缩感知的缓存算法，对压缩的数据不进行缓存，节省出的空间用于缓存用户的读写数据，其中，所述压缩感知的缓存算法，具体包括：所述键值存储管理系统在压缩过程启动后，将需要被压缩的键值文件的第一部分读入到缓存中，并对缓存中的数据进行压缩；在所述键值存储管理系统压缩时，所述键值存储管理系统的缓存会启动预取过程，将需要被压缩的键值文件的后一部分数据，预先加载到缓存中；在第一部分数据压缩完毕后，所述键值存储管理系统对预取的后部分数据进行压缩，此时缓存将第一部分已经使用过的数据，替换出缓存；对于前台用户的读写请求，所述键值存储管理系统的缓存采用针对前台用户的读写请求优化的缓存算法，所述缓存算法包括：对前台用户的读写请求，使用闪存页的长度为缓存粒度，进行缓存管理；对前台用户的读请求，不进行预取处理；当缓存空间不足时，按照最近最少使用的原则，对缓存数据进行替换；

S5：在所述键值存储管理系统进行请求调度时，采用基于优先级的调度策略，优先调度用户和前台的压缩请求，根据当前闪存设备的可用空间，判断擦除请求调度的优先级，其中，所述基于优先级的调度策略，具体包括：对于前台用户的读写请求，所述键值存储管理系统在调度时，给予其高优先级，进行调度；对于后台数据压缩操作产生的读写请求，所述键值存储管理系统在调度时，给予其低优先级，进行调度；在同一个优先级别中，读请求优先于写请求进行调度；对于擦除请求，所述键值存储管理系统在调度时，会根据当前闪存设备的使用情况，动态调整其优先级。

2.根据权利要求1所述基于闪存的存储路径优化的键值存储管理方法，其特征在于，在所述S2中，所述并发数据布局方法，具体包括：

所述键值存储管理系统通过裸闪存设备传递的闪存通道数量和闪存块大小，设定键值文件的长度；

所述键值存储管理系统在存储键值文件时，将键值文件以闪存块长度为单位进行分割，将不同的闪存块分布到不同的闪存通道中；

键值文件中的数据在闪存块中，以轮询的方式进行分布。

3.根据权利要求1所述的基于闪存的存储路径优化的键值存储管理方法，其特征在于，所述键值存储管理系统进行数据压缩，具体包括：

所述键值存储管理系统在进行数据压缩时，先读取需要被压缩的键值文件，所述键值存储管理系统会同时读取多个键值文件中的固定长度到缓存中；

在将缓存中的键值数据压缩完成后，再读取多个键值文件中的后续数据，依次类推，所有要被压缩的键值文件读取完；

所述键值存储管理系统会将压缩后的数据写入到闪存设备中，压缩过程结束。