[发明专利]用于大数据应用的分层局部敏感哈希(LSH)分区索引

权利要求书

1.一种用于对多个数据对象进行分区的方法，其特征在于，每个数据对象由各自的高维特征向量表示，包括：

对每个高维特征向量执行哈希函数，以为由所述高维特征向量表示的数据对象生成各自的低维二进制紧凑特征向量；

对每个紧凑特征向量执行另一个哈希函数，以将子索引ID分配给所述紧凑特征向量；

将紧凑特征向量分区到各自的分区组中，其中，所述各自的分区组对应于分配给所述紧凑特征向量的子索引ID。

2.根据权利要求1所述的方法，其特征在于，对每个高维特征向量执行的所述哈希函数为局部敏感哈希(locality sensitive hashing，简称LSH)函数，对每个紧凑特征向量执行的所述另一个哈希函数也是LSH函数。

3.根据权利要求2所述的方法，其特征在于，所述哈希函数和所述另一个哈希函数为正交角哈希函数。

4.根据权利要求3所述的方法，其特征在于，包括：为每个所述各自的分区组生成可搜索的子索引结构。

5.根据权利要求4所述的方法，其特征在于，每个紧凑特征向量仅分区到单个所述分区组。

6.根据权利要求4或5所述的方法，其特征在于，包括：将所述子索引结构作为独立可搜索的结构存储，使得所述子索引结构彼此间可以并发搜索。

7.根据权利要求4至6中任一项所述的方法，其特征在于，所述为每个所述各自的分区组生成可搜索的子索引结构包括：对于每个分区组：

为所述分区组中的紧凑特征向量生成多个扭曲紧凑特征向量集，其中，每个所述扭曲紧凑特征向量集是通过对所述分区组中的紧凑特征向量应用各自的随机置乱排列生成的；

对于每个扭曲紧凑特征向量集，基于所述扭曲紧凑特征向量集中的哈希值的序列，为由所述分区组中的紧凑特征向量表示的数据对象生成索引表；

包括为所述分区组的可搜索子索引结构中的每个所述扭曲紧凑特征向量集生成的索引表。

8.一种用于对数据对象进行分区的系统，其特征在于，每个数据对象由各自的高维特征向量表示，包括：

一个或多个处理单元；

系统存储设备，与每个所述处理单元耦合，所述系统存储设备上有形地存储可执行指令，当所述可执行指令由所述一个或多个处理单元执行时，使得所述系统：

对每个高维特征向量执行哈希函数，以为由所述高维特征向量表示的数据对象生成各自的低维二进制紧凑特征向量；

对每个紧凑特征向量执行另一个哈希函数，以将子索引ID分配给所述紧凑特征向量；

将紧凑特征向量分区到各自的分区组中，其中，所述各自的分区组对应于分配给所述紧凑特征向量的子索引ID。

9.根据权利要求8所述的系统，其特征在于，对每个高维特征向量执行的所述哈希函数为局部敏感哈希(locality sensitive hashing，简称LSH)函数，对每个紧凑特征向量执行的所述另一个哈希函数也是LSH函数。

10.根据权利要求9所述的系统，其特征在于，所述哈希函数和所述另一个哈希函数为正交角哈希函数。

11.根据权利要求10所述的系统，其特征在于，包括：为每个所述各自的分区组生成可搜索的子索引结构，其中，每个紧凑特征向量仅分区到单个所述分区组。

12.根据权利要求11所述的系统，其特征在于，当所述可执行指令由所述一个或多个处理单元执行时，使得所述系统将所述子索引结构作为独立可搜索的结构存储在一个或多个存储器中，使得所述子索引结构彼此间可以并发搜索。