[发明专利]一种使用非易失性内存介质的键值对持久存储方法及系统

说明书

本发明提供了一种使用非易失性内存介质的键值对持久存储方法及系统，同时使用易失性内存介质和非易失性内存介质构建持久键值存储系统，在易失性内存介质中构建静态散列表接收来自客户端的读写访问请求；在非易失性内存介质中构建动态散列表存储键值对的元数据和键值对在数据区的内存偏移地址，在非易失性内存中的动态散列表之后构建数据存储区，存放键值对大小、键值对数据和键值对校验和；使用结合键值对校验和的检查点的机制，维护持久键值存储系统的数据一致性。本发明利用了不同内存特性的优点，提升性能的同时实现了对键值数据对的持久有效存储、兼顾了内存利用的高效率，降低了维护一致性的系统代价。

技术领域

本发明涉及非易失性内存和数据存储系统软件领域，具体地，涉及一种使用非易失性内存介质设计实现键值持久存储的方法及系统。

背景技术

新型的可字节寻址非易失性内存NVM(Non-Volatile Memory)介质技术的兴起,对存储领域带来了新的巨大机遇和挑战，引发了产业界和学术界对异构混合内存体系架构及其相关系统软件的研究兴趣，形成了一系列新的研究热点。NVM器件具有可字节寻址，非易失性和高存储密度，低能耗等特点，具备传统易失性内存DRAM所无法比拟的诸多优势。

随着大数据时代的发展与演变，数据正在以前所未有的速度增长与累积，数据处理的实时性和高效性提出了更高的要求和挑战。键值存储系统(Key-Value Store)又称KVS系统，作为具有代表性的存储系统软件，在一些大规模商用网站如社交媒体，在线交易等应用场景中，对提升系统性能改善用户体验等方面发挥着极其重要的作用。现有的常用键值存储系统如LevelDB，RocksDB等，主要针对HDD或SSD设计，在应对大量的数据需要存放在内存中以提升处理速度的应用场景中表现出较大的性能瓶颈。现存的内存键值系统如Redis，Memcached等缺乏持久存储能力或持久存储需要依赖更加底层的文件系统的协助，增加了软件栈的层数，表现出了系统架构上的局限性。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种使用非易失性内存介质的键值对持久存储方法及系统。

根据本发明提供的一种使用非易失性内存介质的键值对持久存储方法，同时使用易失性内存介质和非易失性内存介质构建持久键值存储系统，并包括步骤：

易失性内存介质构建步骤：在易失性内存介质中构建静态散列表接收来自客户端的读写访问请求；

非易失性内存介质构建步骤：在非易失性内存介质中构建动态散列表存储键值对的元数据和键值对在数据区的内存偏移地址，在非易失性内存中的动态散列表之后构建数据存储区，存放键值对大小、键值对数据和键值对校验和；

数据一致性保障步骤：使用结合键值对校验和的检查点的机制，维护持久键值存储系统的数据一致性。

优选的，所述静态散列表大小固定，每一个散列表中含有2^¹⁶个桶，每个桶中含有四个存储单元，每个存储单元中含有64位的键的散列值、键值对在非易失性内存存储区中64位的内存偏移地址和32位的键值对校验和。

优选的，所述静态散列表中的散列算法采用两个散列函数的布谷鸟散列算法，当静态散列表的基本填满时，对该静态散列表进行固定操作，固定后的静态散列表将通过合并线程和位于非易失性内存中动态散列表进行合并，完成动态扩展。

优选的，所述动态散列表的初始大小和一个静态散列表相同，含有2^¹⁶个桶，每个桶中含有四个存储单元，每个存储单元中含有一个1位的标志位，该标志位标识该存储单元是否已被占用，一个64位的键的散列值，一个64位的键值对在非易失性内存存储区中的内存偏移地址和一个32位的键值对校验和。

优选的，所述结合键值对校验和的检查点的机制包括：