[发明专利]一种基于非易失性内存的写优化可扩展哈希索引结构以及插入、刷新和删除方法

说明书

本发明提供了一种基于非易失性内存的写优化可扩展哈希索引结构以及插入、刷新和删除方法，其中扩展哈希结构包括：指针数组、段、数据桶和槽；插入方法包括：哈希键通过Virtual‑Vicinity插入算法使用前缀索引找到相应的段，再通过后缀索引找到段里插入数据的数据桶及其虚拟邻域数据桶，寻找空闲槽插入数据。若插入失败则进行分裂操作。本发明提供的插入方法可以使得每个数据可插入的位置增加，以此增加空间利用率；原位刷新操作，可以减少重复键值对对内存空间的占用；此外，HyDH的删除操作能为查找刷新等操作提供便利。

技术领域

本发明涉及数据处理技术领域，具体设计非易失性存储的存储结构，尤其涉及一种基于非易失性内存的写优化可扩展哈希索引结构(HyDH)以及插入、刷新和删除方法。

背景技术

由于具有高密度，低功耗和非易失性的优点，作为持久性存储器的非易失性存储器(NVM)技术有望成为补充或替代DRAM来构建未来存储系统的候选技术。与包括DRAM和SRAM在内的传统存储技术相比。低级存储设备的重大更改由于忽略了NVM设备的属性，因此对高级内存和高速缓存中的数据结构设计提出了不小的挑战。大量现有研究已经优化了基于树的索引结构，以有效地适应持久性存储器，例如NV-Tree，wB+-Tree，FP-Tree等。基于树的索引结构通常具有平均O(log(N))的搜索时间复杂度，其中N是数据结构的大小。与基于树的索引结构不同，基于哈希的索引结构是平面数据结构，能够实现恒定尺度的搜索时间复杂度，即O(1)。由于提供了快速的查找响应，哈希索引结构已在主存储系统中广泛使用。因此设计NVM友好的哈希索引方案非常重要。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

由于静态哈希表的扩展往往会带来极大的开销导致系统性能下降，因此可扩展哈希的较小的扩展开销使得它被广泛地研究。可扩展哈希用一个指向块的指针数组来表示桶，而不是用数据块本身组成的数组来表示桶。在传统的可扩展哈希结构中，当有键值对(key-value)插入时，首先将经过哈希函数计算后的key前缀与指针数组的目录项(Diectory)进行匹配。在进入数据桶时，传统可扩展哈希直接采用线性遍历的方式，找到第一个空数据槽(slot)，存放数据。查找时，也是根据计算出的key前缀，匹配相应的目录项，再通过目录项的指针定位数据桶，最后使用顺序遍历的方式查找到对应键值对。删除过程与查找一样。当刷新时，传统可扩展哈希只是重新做一次插入操作，这样极大地浪费了空间，且空间利用率不高。

发明内容

本发明提出一种基于非易失性内存的写优化可扩展哈希索引结构以及插入、刷新和删除方法，用于解决或者至少部分解决现有技术的方法中空间利用率不高的技术问题。

为了解决上述技术问题，本发明第一方面提供了一种基于非易失性内存的写优化可扩展哈希索引结构，包括：指针数组、段以及数据桶，其中，指针数组包括多个目录项，每一个目录项包括哈希前缀以及指向对应段的指针，哈希前缀用于与预设哈希函数计算的key值前缀进行匹配，匹配成功时哈希前缀对应的指针所指向的段为待插入的段；

一个段包含多个数据桶，每个数据桶具有一个序号用于匹配经过预设哈希函数计算后的哈希值的后缀，预设哈希函数为虚拟近邻插入算法的哈希函数；

一个数据桶包含若干个槽，槽用于存储数据，数据为键值对。

在一种实施方式中，段与指向段的指针之间的数量关系采用全局深度和局部深度表示，其中，全局深度表示目录项的位数，用于确定段的数量，局部深度用于确定段对应的目录项中所存储的哈希前缀的长度。

基于同样的发明构思，本发明第二方面提供了一种基于第一方面所述的哈希索引结构的插入方法，包括：

通过预设哈希函数对待插入数据计算出第一哈希值；

将第一哈希值的前缀与指针数组中目录项存储的哈希前缀进行匹配，定位待插入的段；