[发明专利]一种基于位置敏感哈希的分布式索引方法

摘要

一种基于位置敏感哈希的分布式索引方法，首先利用聚类算法对海量数据集进行聚类，然后把聚类中心映射到不同计算节点上，再次将原始海量图片或视频特征数据映射到所属类对应的计算节点上，这样可以让每个节点处理一个类，最后利用基于p-稳定分布的位置敏感哈希方法建立不同节点上的数据索引。为了减少不同计算节点上搜索结果的合并时间和提高搜索结果的质量，本发明提供了两种方法来选择最近m个类以供后续详细搜索。本发明提供了一种自动将海量数据映射到不同计算节点的向导，此外，本发明还有效地减少了位置敏感哈希搜索阶段的详细比较次数，使得海量数据的搜索更加的准确高效。

主权项

一种基于位置敏感哈希的分布式索引方法，其特征是以多台计算机作为节点，多机协同创建索引与搜索，包括以下步骤：1)对原始海量数据利用聚类方法进行聚类，所述原始海量数据指被检索的原始海量图片或视频特征数据；2)聚类结束后，将每个聚类中心映射到不同计算机节点上；3)将原始海量数据映射到所属类对应的节点上，每个节点处理一个类，映射到节点上的数据作为该节点的特征数据点；4)利用基于p‑稳定分布的位置敏感哈希方法建立不同节点上的数据索引，即分布式索引，以供后续搜索；5)根据得到的分布式索引，对查询特征数据点进行分布式搜索，所述查询特征数据点指待搜索的特征数据点。