[发明专利]基于谱哈希的相似性存储设计方法

摘要

本发明公开一种基于谱哈希的相似性存储设计方法，利用谱哈希方法与数据映射算法相结合，快速地将不同种类的高维数据映射到基于分布式哈希表的分布式节点空间。通过将哈希表分布在Chord环上构建，同时利用设计的新型数据映射算法将相应的哈希桶映射到Chord环上，从而保证了两个哈希桶内的数据越相近则两个桶在Chord环上距离越近，并且提出了虚拟桶的概念，将每个物理节点服务器看作一个或多个虚拟桶，通过动态的调整每个虚拟桶的负载，使得Chord环上的节点满足负载均衡。解决了相似性查询时系统查询开销过大问题，提高了数据的查询效率。

主权项

1.基于谱哈希的相似性存储设计方法，其特征在于，包括步骤1、通过对数据集进行学习并且训练得到谱哈希的映射函数，然后将高维原始数据项u作为映射函数的输入项，计算出每个数据项的k维二进制哈希编码v，把具有相同哈希编码的数据项放入同一个哈希桶中，v作为相应哈希桶的桶编号；步骤2、根据哈希桶编号v计算每个哈希桶在Chord环上的位置，εCauchy(v)＝a.v其中向量a满足标准柯西分布，为从p‑稳态分布中抽取k个随机变量组成的k维向量，v表示哈希桶的桶编号；步骤3、查找Chord路由表找到v所属的哈希桶所在的Chord环上的虚拟桶；步骤4、虚拟桶负载过大时，对Chord环上的虚拟桶进行桶负载调控，所述桶负载调控的过程为：A4‑1.计算负载过重的虚拟桶的节点P上的各个ε的一维实数值ε'所对应的虚拟桶内的原始数据项数量之和，并记包含最大、最小值的虚拟桶对应的位置分别为εmax'和εmin'；A4‑2.选择适当的整数εrefer'，它使得[εmin',εrefer']和(εrefer',εmax']之间的虚拟桶内的原始数据项数量之和均等；A4‑3.分配一个新的虚拟节点P'，其位置为εrefer'，将[εmin',εrefer']范围内的虚拟桶包含的数据迁移到P'所在的虚拟桶，同时修改两个节点的索引表。