[发明专利]一种基于位置敏感哈希的分布式索引方法

说明书

技术领域

本发明属于计算机技术领域，涉及高维数据空间下的分布式索引与查询方法，涉及一种近似最近邻搜索的方法，具体为一种基于位置敏感哈希的分布式索引方法。

背景技术

传统的最近邻搜索方法在信息检索、数据挖掘、数据库等应用中扮演了重要角色。一些经典的基于树形结构的搜索的方法，通常对于维度小于10的低维数据表现得很好，然而现在分析数据所应用的特征都是远大于10的，因此这些基于树形结构的搜索方法都退化到线性搜索的效率了，这个现象即大家所熟知的“维度灾害”。

最近10年，一些学者提出了利用近似最近邻搜索来替代传统的最近邻搜索，这类方法可以更好的克服“维度灾害”带来的负面影响，更好的平衡了搜索质量与搜索反应时间。不仅如此，只要能在搜索时准确的“理解”用户的搜索意向，采用近似最近邻搜索得到的结果与传统的最近邻搜索得到的结果之间的差异可以忽略不计。位置敏感哈希就是这类方法中一种非常流行的近似最近邻搜索方法，它的搜索质量和搜索反应时间都是非常优秀的。

现在是信息爆炸性增长的时代，待搜索的数据变得越来越多。但是位置敏感哈希为了获得更高的搜索质量和更好的搜索效率需要消耗大量的哈希表，也就是说，内存使用量非常大。这在很大程度上影响了位置敏感哈希在海量数据情景下的可扩展性，因为在单机环境下，内存难以提供足够的空间来加载海量数据所生成的哈希表。针对海量数据处理，Google提出了分布式处理计算技术的软件架构MapReduce，用于大于1TB的大规模数据集的并行运算。Google的MapReduce的开源实现是Hadoop MapReduce架构，但是开源的Hadoop MapReduce是为了离线海量数据处理的，直接把Hadoop MapReduce用在搜索框架中，是不太合适的，整体的效率也不高，因为Hadoop MapReduce架构不适合在线搜索服务，启动一次MapReduce任务所需要的时间开销是在线搜索服务不能承受的。

此外，传统的位置敏感哈希在搜索时是要搜索所有冲突表中的候选结果的，当数据量非常大的时候，详细比较的代价也会非常大，这也会降低传统位置敏感哈希的搜索效率。

综上所述，传统的位置敏感哈希可扩展性不太好，而且由于冲突表中的候选结果较多，浪费了很多时间在详细比较阶段，搜索的效率还可以进一步提高。

发明内容

本发明要解决的问题是：在高维数据的检索和查询技术中，传统的位置敏感哈希可扩展性不太好，搜索效率低；而且现有的离线海量数据处理计算方式不适于直接用于在线搜索中，因为离线处理的计算方式反应时间太长。

本发明的技术方案为：一种基于位置敏感哈希的分布式索引方法，以多台计算机作为节点，多机协同创建索引与搜索，包括以下步骤：

1)对原始海量数据利用聚类方法进行聚类，所述原始海量数据指被检索的原始海量图片或视频特征数据；

2)聚类结束后，将每个聚类中心映射到不同计算机节点上；

3)将原始海量数据映射到所属类对应的节点上，每个节点处理一个类，映射到节点上的数据作为该节点的特征数据点；

4)利用基于p-稳定分布的位置敏感哈希方法建立不同节点上的数据索引，即分布式索引，以供后续搜索；

5)根据得到的分布式索引，对查询特征数据点进行分布式搜索，所述查询特征数据点指待搜索的特征数据点。

作为优选方式，步骤1)对原始海量数据进行聚类时，首先对原始海量数据进行采样，然后在样本数据集上利用聚类算法进行聚类，进行聚类计算时，利用MapReduce对采样数据进行并行聚类，得到聚类结果，所述聚类算法包括k-means，BIRCH，CLIQUE，SUBCLU，DBSCAN和近邻传播。

步骤4)具体为：

4.1)生成基于p-稳定分布的位置敏感哈希的哈希函数i=1，...，N，其中N为哈希函数的个数，a_i为d维向量，其元素是服从高斯分布的随机数，v表示d维特征数据点，b_i是随机偏移，服从区间[0，w]上的均匀分布，w为一正整数，根据不同的应用场景设定；一共生成L×k个哈希函数对每个特征数据点利用生成的L×k个哈希函数进行哈希，供特征数据点所属的节点使用，k和L的选择对应于搜索结果质量和搜索反应速度，设定标准为p₁是位置敏感哈希函数族中近距离数据点的至少冲突概率，δ是搜索结果的最低召回率；