[发明专利]基于欧氏距离的度量空间索引构建方法、装置及相关设备

说明书

本发明公开了基于欧氏距离的度量空间索引构建方法、装置及相关设备，方法包括获取原始数据集，根据原始数据集的类型，通过维度估计算法估算得到原始维度；根据原始维度，通过支撑点选取算法选取映射支撑点，映射支撑点的个数大于原始维度的数值；通过距离函数和映射支撑点将度量空间中的原始数据集映射到支撑点空间；通过降维算法对支撑点空间中的数据进行降维；根据降维后的支撑点空间，通过欧氏距离近似最近邻算法构建索引。通过欧氏距离的近似最近邻算法构建基于欧氏距离的度量空间索引，在检索的时候可通过该索引进行检索，将原本复杂的距离计算简化为了人们熟知且计算较为简单的欧氏距离的计算，提高了准确度和查询速度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于欧氏距离的度量空间索引构建方法、装置及相关设备。

背景技术

在高维数据下，由于维数灾难问题，传统的精确搜索方法如树状索引性能会急剧下降，甚至会不如线性扫描。因此，近似最近邻查找的方法便诞生了，近似最近邻查找方法的搜索结果并不一定是距离搜索点q最近的那个数据p，但一定离最近的数据p很近，即允许存在误差。

在非度量空间的近似最近邻算法中，这些算法大多只针对欧氏距离，在欧氏距离上有很好的性能，但无法扩展到其它距离函数，因为这些搜索算法都是针对欧氏距离等特定的距离函数所涉及的。

度量空间的近似最近邻算法的研究很少，目前了解到的有metric index，这种索引方法根据数据到支撑点的距离，为数据构建基于支撑点距离大小顺序的前缀树进行索引。但这种方法仍然无法避免传统树状索引算法的弊端，在选取的支撑点数目比较多的情况下会不如线性扫描。

由此需要一种基于压缩和欧氏距离的度量空间近似最近邻查找方法，使数据在映射到支撑点空间后，用欧氏距离的近似最近邻算法进行查找，扩展所有基于欧氏距离的算法的适用距离函数，提高准确度和查询速度。

发明内容

本发明的目的是提供一种基于欧氏距离的度量空间索引构建方法、装置及相关设备，旨在解决现有技术中，查询速度过慢且准确度低的问题。

第一方面，本发明实施例提供了基于欧氏距离的度量空间索引构建方法，包括：

获取原始数据集，根据所述原始数据集的类型，通过维度估计算法估算得到原始维度；

根据所述原始维度，通过支撑点选取算法选取映射支撑点，所述映射支撑点的个数大于所述原始维度的数值；

通过距离函数和所述映射支撑点将原始数据集映射为支撑点空间；

通过降维算法对支撑点空间中的数据进行降维；

根据降维后的支撑点空间，通过欧式距离计算映射到支撑点空间后数据之间的相似程度，并通过欧氏距离近似最近邻算法构建索引。

第二方面，本发明实施例提供了基于欧氏距离的度量空间索引构建装置，包括：

估算维度单元，用于获取原始数据集，根据所述原始数据集的类型，通过维度估计算法估算得到原始维度；

支撑点选取单元，用于根据所述原始维度，通过支撑点选取算法选取映射支撑点，所述映射支撑点的个数大于所述原始维度的数值；

映射单元，用于通过距离函数和所述映射支撑点将原始数据集映射为支撑点空间；

降维单元，用于通过降维算法对支撑点空间中的数据进行降维；

索引构建单元，用于根据降维后的支撑点空间，通过欧式距离计算映射到支撑点空间后数据之间的相似程度，并通过欧氏距离近似最近邻算法构建索引。