[发明专利]用于大数据应用的分层局部敏感哈希(LSH)分区索引

说明书

本发明描述了用于对多个数据对象进行分区的系统和方法，其中，每个数据对象由各自的高维特征向量表示。该方法包括：对每个高维特征向量执行哈希函数，以为由所述高维特征向量表示的数据对象生成各自的低维二进制紧凑特征向量；对每个紧凑特征向量执行另一个哈希函数，以将子索引ID分配给所述紧凑特征向量；将紧凑特征向量分区到各自的分区组中，其中，所述各自的分区组对应于分配给所述紧凑特征向量的子索引ID。

相关申请

本申请要求于2018年3月1日递交的第62/637,278号美国临时专利申请和于2018年7月24日递交的第16/044,362号美国实用型专利申请的益处和在先申请优先权，该内容皆以引入的方式并入本文中。

技术领域

本发明通常涉及数据库的索引和搜索，特别涉及非结构化数据的分区索引。

背景技术

存储在数字信息存储库(例如在线互联网和基于云的数据库)中的非结构化多媒体数据对象(例如包括图像数据、视频数据、音频数据，文本数据和其他复杂的数字对象)的数量正在急剧增长。以准确且资源有效的方式处理非结构化数据的搜索查询是一项技术挑战。

相似度搜索是一种基于查询对象和搜索数据库中的数据对象的相似度之间的比较来搜索非结构化数据对象的数据搜索方法。相似度搜索通常涉及为数据库中存储的每个数据对象创建元数据，为查询对象创建元数据，然后比较所述查询对象的元数据与所述数据对象的元数据。每个对象的元数据可以采用特征向量的形式，该特征向量是表示所述对象的多维数值特征向量。在这方面，相似度搜索可以被定义为从数据库中存储的多个特征向量中找到与给定特征向量(例如，查询向量)最相似的特征向量。相似度搜索算法可用于模式识别与分类、推荐系统、统计机器学习以及诸多其它领域。

因此，相似度搜索通常涉及使用特征提取算法将查询对象(例如，图像、视频样本、音频样本或文本)翻译为(转换为)表示所述查询对象的查询特征向量。然后，所述查询特征向量用于搜索特征向量的数据库，以定位与所述查询特征向量最相似的一个或多个数据对象特征向量(例如，存储在所述数据库中的数据对象的特征向量)。

在非结构化数据对象的情况下，所述特征向量通常是高维向量。在高维特征空间中，给定数据集的数据变得稀疏，因此距离和相似度失去了统计意义，造成查询性能会随着维度数量的增加呈指数下降。这称为“维数灾难”问题。

解决“维数灾难”问题的一种方法包括：对存储在数据库中的每个特征向量应用降维算法，以生成每个特征向量的较短版本(例如，紧凑特征向量)。在为所述数据库中存储的每个对象的每个特征向量生成紧凑特征向量后，使用索引生成算法从所述紧凑特征向量中生成搜索索引。所述降维算法也可应用于所述查询特征向量，以生成所述查询特征向量的较短版本(例如，紧凑查询特征向量)。然后，可以通过向搜索算法提供所述紧凑查询向量和所述搜索索引以查找与所述查询特征向量最相似的候选数据对象特征向量来执行相似度搜索。

将向量维数较大的特征向量转换为向量维数减少的紧凑特征向量并生成相应的搜索索引的一种方法是应用基于哈希的近似最近邻(approximate nearest neighbor，简称ANN)算法。例如，局部敏感哈希(locality sensitive hashing，简称LSH)可以用于降低高维数据的维数。LSH对输入项进行哈希处理，使得相似项以高概率映射到相同的“桶”中(桶的数量要比可能的输入项的总和少得多)。特别地，可以使用LSH算法对特征向量进行哈希处理，以生成作为所述紧凑特征向量的LSH哈希值。

然而，现有的基于LSH-ANN的索引和搜索算法存在的一个问题是，这些算法可能导致搜索查询过度偏向于紧凑特征向量的最高有效位(most significant bit，简称MSB)之间的相似度。特别地，现有的索引生成方法可使用紧凑特征向量的前几位(或者其它连续位组，例如最后几位)来标识相似的特征向量。然而，这些位可能无法很好地指示相似度，从而导致搜索不准确以及计算资源的使用效率低下。