[发明专利]基于d维映射的哈希表冲突解决方法

说明书

本发明公开了一种基于d维映射的哈希表冲突解决方法，包括如下步骤：步骤1：建立哈希表数据结构。步骤2：建立对应辅助数据结构。步骤3：利用上述哈希表结构和辅助表结构插入键值对构成的项，实现数据的存储。利用所述哈希表数据结构和辅助结构，能够实现存储、查找、删除等操作。通过链表的搭建，实现了更新零失败率。本发明不仅有效改善了哈希表中遇见冲突需要重新哈希的问题，并且能够预先识别踢出是否有必要，有效减少了操作时间，能够极大的提升哈希表的负载率。

技术领域

本发明涉及内存数据库存储领域，一种基于解决哈希表冲突的检索算法和索引技术实现方法。

背景技术

键值存储通过键值对的形式存储数据，其作为NoSQL等数据库的一种重要类型，己广泛应用于数据去重、网络社交平台、电子商务及互联网服务如Amazon和Facebook等领域中。键值存储系统的数据是以键值对的形式存在，并且用哈希表来进行存储，因此哈希表作为键值存储系统的核心技术，直接影响系统性能。设计实现其中的有效的哈希表及索引内存利用，对于高性能的键值存储具有重要的意义。当某个需要解决的问题要求时间复杂度是常数级时，一般使用哈希表这一个较优选择。例如Java容器中有哈希表支持的HashMap、LinkedHashSet等都具有非常高的查询效率。因此，基于哈希的数据结构以其高速度和高存储效率得到了越来越广泛的应用，例如键值对经常使用哈希表来进行存储。因此，哈希算法作为键值存储系统的核心技术，是直接影响系统性能的关键因素。哈希表还被广泛应用于社交网络、数据库索引、数据包转发、存储系统、隐私与安全、体系结构和数据处理等。这些应用大多要求查询速度快，同时索引结构的内存使用量低，由于O(1)查询的时间复杂度，哈希表在这些应用中得到了广泛的应用。

哈希表可以提供快速的插入操作和查找操作，不仅速度快，编程实现也相对容易。但是当哈希表负载增加时，会经常发生冲突。为了解决冲突，诞生了许多哈希存储结构。比较经典的哈希表例如布谷鸟哈希，它不依赖于使用完美的哈希函数，而是在开放式寻址的结构上进行改变。由多个哈希函数和重新定位提供的这种性能有助于布谷鸟哈希实现非常高的负载率，因此布谷鸟哈希已经成为许多领域的首选哈希技术，例如存储系统、数据库、隐私与安全、网络、体系结构、数据处理等等。它提供了常量的预期摊销更新时间、常量的最坏情况下的查找时间和良好的内存利用率。各种实验表明，布谷鸟哈希算法非常适合现代计算机体系结构和分布式设置。但是布谷鸟哈希表在遇到冲突时，特别是高负载下解决冲突时，会涉及到很多关于项重新哈希后选择插入位置，甚至最终仍然失败导致需要重建整个哈希表的问题，另外布谷鸟哈希的负载率依然可以提高，布谷鸟哈希在查找以及插入方面的性能仍然可以改进。

在查询时间方面，已有的哈希表设计通过建立辅助数据结构(例如布隆过滤器)来减少在哈希表中的内存访问次数，通过预先在布隆过滤器中判断键值是否存在于哈希表中，例如孔雀哈希、分段哈希等。这些哈希表虽然也采用多个子表来提高效率，减少冲突和内存访问次数，但是这些哈希表在更新时的效率并不是很令人满意，仍然需要大量的哈希计算和内存访问。

发明内容

针对现有技术的不足，本发明公开了一种基于d维映射的哈希表冲突解决方法。

技术方案：

一种基于d维映射的哈希表冲突解决方法，包括如下步骤：

步骤1：建立哈希表数据结构，由t个子表：T₀,T₁,...,T_t-1组成，各子表的大小相等，t是d的倍数，其中最后一个子表为链式结构表；将第d*n+1个至第d*n+d个哈希表划分为一组，每个子表内有k个桶，形成d维存储结构用来存储键值对；每个子表有一个位图相对应，位图中的每一位与每个哈希表中的每一个桶相对应；若此桶为空桶，则位图中对应的位为0；反之，为1；