[发明专利]数据检索方法、装置、电子设备及存储介质

说明书

本公开关于一种数据检索方法、装置、电子设备及存储介质，该方法包括：对检索数据集或查询数据集中的数据进行聚类，得到多个聚类中心；根据多个聚类中心，将检索数据集中的检索数据分别分发到每个聚类中心所在的聚类中，并在每个聚类中建立聚类中心与检索数据之间的索引；根据多个聚类中心，将查询数据集中的查询数据分别分发到一个或多个聚类中心所在的聚类中，并在每个聚类中分别根据索引检索查询数据所对应的检索结果；根据查询数据集中每个查询数据在一个或多个聚类中所对应的检索结果，确定查询数据集的检索结果。本公开降低了建库和检索的数据规模，减少建库和检索过程中的内存和计算压力，可以减少查询时间，提高检索效率，节省计算资源。

技术领域

本公开涉及数据检索技术领域，尤其涉及一种数据检索方法、装置、电子设备及存储介质。

背景技术

海量数据最近邻检索作为数据检索中使用最为广泛的技术一直以来都是研究热点，由于维度高、数据规模大，直接应用最近邻方法并不可行，而且由于维数灾难，很难在高维欧式空间中以较小的代价找到精确的最近邻。因此，可以使用ANN(Approximate NearestNeighbor，近似最近邻)查询，通过牺牲精度来换取时间和空间的方式从大量样本中获取最近邻。

但是，由于数据量大，使用普通的ANN索引服务也存在以下问题，比如建立单个索引对于内存需求比较大，其耗费的查询时间急速增长，相应的召回率也会下降，需要计算资源难以满足。

发明内容

本公开提供一种数据检索方法、装置、电子设备及存储介质，以至少解决相关技术中对内存需求大、计算资源难以满足的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据检索方法，包括：

对检索数据集或查询数据集中的数据进行聚类，得到多个聚类中心；

根据所述多个聚类中心，将所述检索数据集中的检索数据分别分发到每个聚类中心所在的聚类中，并在每个所述聚类中建立聚类中心与所述检索数据之间的索引；

根据所述多个聚类中心，将所述查询数据集中的查询数据分别分发到一个或多个所述聚类中心所在的聚类中，并在每个聚类中分别根据索引检索查询数据所对应的检索结果；

根据所述查询数据集中每个查询数据在一个或多个聚类中所对应的检索结果，确定所述查询数据集的检索结果。

可选的，对检索数据集或查询数据集中的数据进行聚类，得到多个聚类中心，包括：

对所述检索数据集或查询数据集中的数据进行随机抽样，得到多个抽样数据；

对所述多个抽样数据进行聚类，得到多个聚类中心。

可选的，对所述检索数据集或查询数据集中的数据进行随机抽样，得到多个抽样数据，包括：

在第一MapReduce任务的Map阶段，对所述检索数据集或查询数据集中的数据进行随机抽样，得到多个抽样数据；

对所述多个抽样数据进行聚类，得到多个聚类中心，包括：

在第一MapReduce任务的Reduce阶段，对所述多个抽样数据进行聚类，得到多个聚类中心。

可选的，根据所述多个聚类中心，将所述检索数据集中的检索数据分别分发到每个聚类中心所在的聚类中，包括：

分别确定所述检索数据集中的检索数据与所述聚类中心的第一距离，并将所述检索数据分发到所述第一距离最小的聚类中心所在的聚类中；

根据所述多个聚类中心，将所述查询数据集中的查询数据分别分发到一个或多个聚类中心所在的聚类中，包括：