[发明专利]构建数据库索引的方法、检索方法、装置、设备及介质

说明书

本公开提供了构建数据库索引的方法、检索方法、装置、设备及介质，涉及计算机技术领域，尤其涉及大数据、人工智能、数据检索等技术领域。具体实现方案为：获取待入库向量；从数据库中筛选出与待入库向量的相似度最高的向量簇，得到待加入簇；将待入库向量添加到待加入簇的倒排索引中；在待加入簇与待入库向量之间的相似度低于第一阈值的情况下，在待加入簇之外的候选向量簇中筛选出至少一个补充簇；将待入库向量分别添加到每个补充簇的倒排索引中。基于本公开实施例提供的方式可以提高向量的召回率，提高检索效率。

技术领域

本公开涉及计算机技术领域，尤其涉及大数据、人工智能、数据检索等技术领域。

背景技术

随着数据的快速增长，数据检索广泛应用于图像、视频搜索及推荐等领域中。文本、图片等均可以被抽象为高维度的向量，数据之间的相似度可以被量化为向量空间中向量之间的距离。两个向量之间的距离越近，则两个向量对应的原始数据的相似度越高。因此数据检索可以转化为在向量空间中的向量搜索。也即在获得query(查询语句)所对应的查询向量的情况下，在数据库中搜索距离查询向量最近的若干个向量。

随着数据库中向量的不断扩充，需要不断的提高检索召回率。

发明内容

本公开提供了一种构建数据库索引的方法、检索方法、装置、设备及介质。

根据本公开的一方面，提供了一种构建数据库索引的方法，包括：

获取待入库向量；

从数据库中筛选出与待入库向量的相似度最高的向量簇，得到待加入簇；

将待入库向量添加到待加入簇的倒排索引中；

在待加入簇与待入库向量之间的相似度低于第一阈值的情况下，在待加入簇之外的候选向量簇中筛选出至少一个补充簇；

将待入库向量分别添加到每个补充簇的倒排索引中。

根据本公开的另一方面，提供了一种检索方法，应用于任一实施例中构建数据库索引的方法构建的索引，包括：

获取查询向量；

基于查询向量与向量簇之间的相似度，从数据库中筛选出第一指定数量的向量簇作为待查询簇；

基于各待查询簇的倒排索引，确定各待查询簇包含的向量；

对各待查询簇包含的向量进行去重后，得到待查询向量集合；

从待查询向量集合中筛选出与查询向量匹配的向量。

根据本公开的另一方面，提供了一种构建数据库索引的装置，包括：

第一获取模块，用于获取待入库向量；

第一筛选模块，用于从数据库中筛选出与待入库向量的相似度最高的向量簇，得到待加入簇；

第一添加模块，用于将待入库向量添加到待加入簇的倒排索引中；

第二筛选模块，用于在待加入簇与待入库向量之间的相似度低于第一阈值的情况下，在待加入簇之外的候选向量簇中筛选出至少一个补充簇；

第二添加模块，用于将待入库向量分别添加到每个补充簇的倒排索引中。

根据本公开的另一方面，提供了一种检索装置，应用于任一实施例中构建数据库索引的装置构建的索引，包括：

第二获取模块，用于获取查询向量；

第三筛选模块，用于基于查询向量与向量簇之间的相似度，从数据库中筛选出第一指定数量的向量簇作为待查询簇；

确定模块，用于基于各待查询簇的倒排索引，确定各待查询簇包含的向量；