[发明专利]一种基于超立方体均衡划分的近似近邻元素检索方法及系统

说明书

本发明公开一种基于超立方体均衡划分的近似近邻元素检索方法及系统，把哈希函数簇构造问题转化为最优化问题，通过最优化问题的求解为所选维度上的哈希函数设置不同的分割平面间隔r，以确保哈希函数簇能够对数据空间进行均衡分割，且每一个超立方体具有接近的体积大小和近似大小的边长。该方法输入为期望哈希桶数，因此生成哈希桶数量可控，且不会生成过多无用的哈希桶，有利于提高哈希结构的利用率，减少哈希编码的长度；数据空间的均匀划分可以提供更灵活、高效的查询。最后，实验结果表明，本文所提出的HVBLSH算法具有很高的索引编码效率,哈希码计算效率，能同时兼顾效率、精度和召回率，能够避免F1陷阱，在多个领域的数据集中表现出优秀的性能。

技术领域

本发明涉及机器学习和数据挖掘领域，尤其涉及一种基于超立方体均衡划分的近似近邻元素检索方法及系统。

背景技术

最近邻检索(NNS：Nearest Neighbors Search)是指，在d维欧几里得空间R^d中，给定 N个点的数据集P，通过对数据集P进行预处理，以支持最近邻元素的快速检索。在高维海量数据集上的最近邻查找是一项意义重大且具有高度挑战性的工作，它被广泛应用于机器学习和数据挖掘的相关领域，例如分类技术、推荐系统和信息检索等。由于在高维大规模数据上检索最近邻元素需要花费大量的时间，退而求其次，常常以检索近似最近邻元素替代最近邻元素检索。

在低维数据空间中，研究人员陆续提出K-D树、R树、SR树等方法，为近邻数据检索提供了有效的解决方案。但是在高维海量数据空间中，最近邻查找会导致查询时间和空间消耗呈指数式增长，也就使现有一些低维度数据检索方法无法满足数据检索要求。针对该问题， Indyk和Gionis等研究人员提出一种基于局部敏感哈希(LSH：Locality SensitiveHashing) 的近似近邻元素检索方法，众多研究人员基于该方法进行改进，但是，他们仍旧存在如下问题：

(1)空间划分依据问题。研究人员常基于一些经验和直觉启发，从而提出基于LSH的哈希函数构造，但是到底是什么因素最终影响了K-NN检索的精度却仍然未知。例如，DSH和 Neural LSH认为对空间的均匀分割有利于提高算法的精度；而GLDH则认为在低密度区域进行平面分割能够获得更好的效果。这些方法并没有真正说明这些划分依据在K-NNS中的影响。

(2)编码长度确定问题。在具体的基于LSH的NNS算法应用中需要进行编码长度的设置，而数据分布的多样性常会导致大量空哈希桶的出现，以及哈希桶数据分布的不均匀等问题，而编码长度和哈希桶数量之间并没有确定的数值关系，因此也就导致在应用中的编码长度设置困难。虽然，研究人员在论文的实验中都设置了一定范围的码长进行精度的对比，但是，如何设置合理的码长却仍是一个未解之谜。

(3)方法优劣对比问题。当前，大多数研究在对比算法优劣时采用相同编码长度情况下 F1值对比的方式，然而本发明研究却发现F1陷阱(即哈希桶数据分布极不均衡从而导致高精度、高F1的情况)的存在；因此，在进行不同算法对比时，需从多个维度关系上考虑算法的优劣对比，更进一步还需要针对具体实验数据集的特征进行有针对性的分析。

发明内容

本发明的目的在于提供一种基于超立方体均衡划分的近似近邻元素检索方法及系统。

本发明采用的技术方案是：

一种基于超立方体均衡划分的近似近邻元素检索方法，其包括以下步骤：

步骤1，哈希函数簇构造：分析数据并最终生成每一个哈希函数参数；具体步骤如下：

步骤1-1，对数据进行采样，得到采样数据；

步骤1-2，对采样数据进行主成分分析，得到特征向量组成的变换矩阵M_d×d；

步骤1-3，利用矩阵对样本数据进行变换得到变换后的样本数据；