[发明专利]一种面向大规模数据的自适应最近邻查询方法

摘要

本发明公开了一种面向大规模数据的自适应最近邻查询方法，特点是首先获取包含多个原始大规模数据的数据集并给定查询点，通过包含k次AND操作和L次OR操作的局部敏感哈希方法将原始数据集构造成若干个子数据集，然后学习得到与每个子数据集对应的哈希编码，然后将所有哈希编码按序排列得到所有子数据集的编码索引，再获取查询点在每个子数据集下的查找表，接下来获取查询点在对应的子数据集下的候选集并融合，得到对给定的查询点的最近邻查询结果；这种子数据集的构造方式能更好地挖掘数据集分布的信息，最大限度地降低了编码的冗余，提升了对给定的查询点的最近邻查询过程的查询精度和查询效率。

主权项

1.一种面向大规模数据的自适应最近邻查询方法，其特征在于包括以下步骤：①获取包含多个原始大规模数据的原始大规模数据集并给定查询点，通过包含k次AND操作和L次OR操作的局部敏感哈希方法将原始大规模数据集构造成2^k个子数据集，通过k次AND操作和L次OR操作将查询点映射到2^k个子数据集中，得到查询点在每个子数据集中对应的映射数据；②根据每个子数据集的大小从大到小对所有子数据集进行排序得到排序后的数据集，并对排序后的数据集中的每个子数据集设置一个与该子数据集的大小呈线性相关的编码长度；③将每个子数据集分别映射到乘积空间，通过最小化哈希编码和原始数据的误差的方法学习得到与每个子数据集对应的哈希编码，然后将所有哈希编码按照对应的子数据集在排序后的数据集中的顺序对应排列得到所有子数据集的编码索引；④根据所有子数据集的编码索引，在每个子数据集中对查询点在每个子数据集中对应的映射数据按最近距离量化映射，得到查询点在每个子数据集下的查找表；⑤根据子数据集的编码索引和查询点在每个子数据集下的查找表，分别获取在子数据集的编码索引中离每个子数据集下的查找表的海明距离最近的与该查找表对应的最近邻点集，并将每个最近邻点集作为查询点在对应的子数据集下的候选集；⑥将查询点对应的所有子数据集空间下的候选集进行融合，将融合后的数据集作为对给定的查询点的最近邻查询结果，完成对给定的查询点的最近邻查询过程。