[发明专利]一种基于Spark的大规模高维数据近似近邻查询系统和方法

权利要求书

1.一种基于Spark的大规模高维数据近似近邻查询系统，其特征在于，所述系统包括：

向量获取模块，索引构建模块和查询模块；

所述向量获取模块，用于获取所述系统待处理的待处理向量，即待处理的数据集，包括从待处理的非结构化数据转换而来的所述待处理向量；一个所述待处理向量在所述系统中可视作一个点；

所述索引构建模块包括：

聚类分区模块，全局索引构建模块和分区索引构建模块；

所述聚类分区模块，用于计算所述数据集的m个分区质心，把一个所述数据集分割成所述m个不同分区，使得每个所述分区中所述待处理向量都是同构的，即每个所述分区里的所述点相互靠近；m≥2，m∈N；

所述全局索引构建模块，用于在所述系统的主节点构造全局索引；所述全局索引构建模块包括：数据采样单元，数据打标单元和建立索引单元；所述数据采样单元，用于根据所述数据集和所述主节点的资源情况，从各个所述分区均匀采样n个所述待处理向量，即所述点，成为采样数据，通过所述采样数据表示所述分区的所述待处理向量的分布；所述数据打标单元，用于给所述采样数据打上所在的所述分区的分区标签；所述建立索引单元，用于使用所述采样数据在所述主节点构建全局索引，并将所述全局索引保存在内存中；所述全局索引的索引结构采用HNSW；

所述分区索引建构模块，用于为每个所述分区创建分区索引，并将所述分区索引保存在所述内存中；所述分区索引的索引结构采用所述HNSW；

所述查询模块，包括：

查询发起模块，全局查询模块，分区查询模块和排序模块；

所述查询发起模块，用于发起查询Q；所述查询Q指定了查询向量，待查询分区的数量s，以及结果向量的数量k；所述查询向量由用户进行设置；1≤s≤m，s∈N；k≥1，k∈N；

所述全局索引查询模块，用于在所述全局索引中查找距离所述查询向量代表的所述点最近的p个所述采样数据，得到初步结果向量，并根据所述分区标签统计各所述分区包含的所述初步结果向量的数量，从多到少，依次排序，选取处于前列的所述s个包含所述初步结果向量的数量非零的所述分区，成为所述待查询分区；p≥s，p∈N；

当所述全局索引查询模块选取到的所述分区的个数不足所述s个时，

可按实际的所述待查询分区的数量给所述s赋值，并对所述待查询分区进行查询；

也可增加所述初步结果向量的数量，即增加p的值，直到选取出所述s个所述待查询分区；

所述分区查询模块，用于查询所述s个所述待查询分区中的所述点，得到各个所述待查询分区中所述k个距离所述查询向量最近的所述点，即所述分区结果向量；

所述排序模块，用于在所述分区查询模块查询过所述s个所述待查询分区后，对得到的s×k个所述分区结果向量进行排序，选取距离所述查询向量表示的所述点最近的k个所述点，得到所述结果向量。

2.根据权利要求1所述的系统，其特征在于，所述采样数据的数量，即所述n的值，可以由所述用户进行设置。

3.根据权利要求1所述的系统，其特征在于，所述初步结果向量的数量，即所述p的值，可以由用户进行设置；所述初步结果向量的数量的增加幅度，也可以由所述用户进行设置。

4.根据权利要求1-3任一项所述的系统，其特征在于，所述待查询分区的数量，即所述s的值，可以由所述用户进行设置。

5.根据权利要求1-3任一项所述的系统，其特征在于，所述分区的数量，即所述k的值，可以由所述用户进行设置。