[发明专利]搜索大规模非结构化数据的随机提取森林索引结构

说明书

一种生成索引多个非结构性数据对象的索引结构的系统和方法，包括：生成一组紧凑特征向量，其中，所述组包括每个所述数据对象的紧凑特征向量，每个数据对象的所述紧凑特征向量包括表征所述数据对象的哈希值的序列；为每组紧凑特征向量生成多组扭曲紧凑特征向量，其中，每组所述扭曲紧凑特征向量通过对所述紧凑特征向量组采用各自随机的组合排列生成；对于每组扭曲紧凑特征向量，为所述数据对象生成检索，其中，在所述检索中，基于在所述扭曲紧凑特征向量组的哈希值的序列为所述数据对象分配槽位。

相关申请案交叉申请

本申请要求于2018年3月1日递交的第62/637,248号美国临时专利申请案以及于2018年7月24日递交的第16/044,286号美国实用专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文。

技术领域

本发明大体涉及数据库的索引和搜索，尤其涉及非结构化数据的基于索引的搜索。

背景技术

非结构化多媒体数据对象的量正在飞速增长，这种数据对象包括存储在例如线上互联网以及基于云技术的数据库的数字信息库中的图像数据、视频数据、音频数据、文本数据以及其它复杂的数字对象。对非结构化数据的搜索查询进行准确而资源高效处理提出了技术挑战。

相似性搜索是一种数据搜索。在相似性搜索中，基于比较搜索数据库中查询对象和所述数据对象的相同点，对非结构性数据对象进行搜索。相似性搜索通常涉及为存储在数据库的每个所述数据对象创建元数据，为查询对象创建元数据，然后，把所述查询对象的所述元数据与所述数据对象的所述元数据进行对比。每个对象的所述元数据可以特征向量的形式呈现，所述特征向量是表征所述对象的有数值特征的多维向量。在这方面，相似性搜索可以被定义成从存储在数据库中的多个特征向量之中找到与所给特征向量(比如：查询向量)最相似的特征向量的搜索。相似性搜索算法可以用在模式识别和分类、推荐系统、统计机器学习以及其它许多领域。

所以，相似性搜索通常涉及使用特征提取算法把查询对象(比如：图像、视频样本、音频样本或者文档)转换(转化)成表征所述查询对象的查询特征向量。随后，所述查询特征向量被用于搜索特征向量的数据库，以定位一个或者多个与所述查询特征向量最相似的数据对象特征向量(例如，存储在所述数据库的数据对象的特征向量)。

在非结构化数据对象的背景下，所述特征向量通常是高维向量。在高维特征空间里，特定数据集的数据变得稀少，所以距离和相似性失去数据显著性，结果导致随着维度越来越多，查询性能呈指数级下滑。这被称为“维度灾难”问题。

为处理所述“维度灾难”问题，一种方法包括对每个存储在所述数据库的特征向量采用降维算法，以生成每个特征向量的较短版本(例如，紧凑特征向量)。在为存储在所述数据库的每个对象的每个特征向量生成紧凑特征向量之后，使用索引生成算法从所述紧凑特征向量中生成搜索索引。所述降维算法也用于所述查询特征向量，以生成所述查询特征向量的较短版本(例如，紧凑查询特征向量)。然后，通过给搜索算法提供所述紧凑查询向量和所述搜索索引，可以执行相似性搜索，以找到与所述查询特征向量最相似的候选数据对象特征向量。

为把有许多向量维度的特征向量转化为减少了向量维度的紧凑特征向量，并生成对应的搜索索引，一种方法是采用基于哈希法的近似最近邻(approximate nearestneighbor，简称ANN)算法。例如，可以使用局部敏感哈希法(locality sensitive hashing，简称LSH)来减少高维数据的维度。LSH对输入项进行哈希，从而相似项大概率会映射到同“桶”(桶的数量比可能的输入项的全集小得多)。特别地，使用LSH算法可以对特征向量进行哈希，以产生作所述紧凑特征向量用的LSH哈希值。