[发明专利]构建数据库索引的方法、检索方法、装置、设备及介质在审
申请号: | 202211633718.5 | 申请日: | 2022-12-19 |
公开(公告)号: | CN115934724A | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 付琰;许顺楠;陈亮辉;范斌 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/28;G06F18/22;G06F16/31;G06F16/33;G06F16/532;G06F16/732 |
代理公司: | 北京易光知识产权代理有限公司 11596 | 代理人: | 王英;王姗姗 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 构建 数据库 索引 方法 检索 装置 设备 介质 | ||
1.一种构建数据库索引的方法,包括:
获取待入库向量;
从数据库中筛选出与所述待入库向量的相似度最高的向量簇,得到待加入簇;
将所述待入库向量添加到所述待加入簇的倒排索引中;
在所述待加入簇与所述待入库向量之间的相似度低于第一阈值的情况下,在所述待加入簇之外的候选向量簇中筛选出至少一个补充簇;
将所述待入库向量分别添加到每个补充簇的倒排索引中。
2.根据权利要求1所述的方法,其中,在所述待加入簇之外的候选向量簇中筛选出至少一个补充簇,包括:
在所述待加入簇之外的候选向量簇中,筛选出满足预设条件的候选向量簇,作为补充簇;
所述预设条件包括以下中的至少一种:
所述待入库向量与所述候选向量簇之间的相似度大于第二阈值;所述第二阈值大于所述第一阈值;
所述待入库向量在所述候选向量簇的簇半径范围内。
3.根据权利要求2所述的方法,所述预设条件还包括:候选向量簇与指定簇之间的相似度不高于第三阈值;所述指定簇包括所述待加入簇和已满足所述预设条件的补充簇。
4.根据权利要求2或3所述的方法,还包括基于以下方法确定所述待入库向量与所述候选向量簇之间的相似度:
获取所述候选向量簇的簇代表向量;
确定所述待入库向量和所述簇代表向量之间的相似度,得到所述待入库向量与所述候选向量簇之间的相似度。
5.根据权利要求2或3所述的方法,还包括基于以下方法生成所述候选向量簇的簇半径:
基于半径学习网络的可学习参数,确定所述候选向量簇的候选半径;
基于所述候选半径、所述候选向量簇中各向量以及所述候选向量簇的簇代表向量,确定损失值;
基于所述损失值调整所述可学习参数,在所述半径学习网络满足训练收敛条件的情况下,基于调整后的可学习参数确定出所述候选向量簇的簇半径。
6.根据权利要求1-5中任一项所述的方法,还包括:
针对所述待加入簇和所述补充簇中任一目标簇,在所述目标簇满足拆分条件的情况下,将所述目标簇拆分为多个向量簇;
对拆分得到的每个向量簇分别构建倒排索引。
7.一种检索方法,应用于如权利要求1-6中任一项所述的方法构建的索引,包括:
获取查询向量;
基于所述查询向量与向量簇之间的相似度,从数据库中筛选出第一指定数量的向量簇作为待查询簇;
基于各待查询簇的倒排索引,确定各待查询簇包含的向量;
对各待查询簇包含的向量进行去重后,得到待查询向量集合;
从所述待查询向量集合中筛选出与所述查询向量匹配的向量。
8.一种构建数据库索引的装置,包括:
第一获取模块,用于获取待入库向量;
第一筛选模块,用于从数据库中筛选出与所述待入库向量的相似度最高的向量簇,得到待加入簇;
第一添加模块,用于将所述待入库向量添加到所述待加入簇的倒排索引中;
第二筛选模块,用于在所述待加入簇与所述待入库向量之间的相似度低于第一阈值的情况下,在所述待加入簇之外的候选向量簇中筛选出至少一个补充簇;
第二添加模块,用于将所述待入库向量分别添加到每个补充簇的倒排索引中。
9.根据权利要求8所述的装置,其中,所述第二筛选模块,用于:
在所述待加入簇之外的候选向量簇中,筛选出满足预设条件的候选向量簇,作为补充簇;
所述预设条件包括以下中的至少一种:
所述待入库向量与所述候选向量簇之间的相似度大于第二阈值;所述第二阈值大于所述第一阈值;
所述待入库向量在所述候选向量簇的簇半径范围内。
10.根据权利要求9所述的装置,所述预设条件还包括:候选向量簇与指定簇之间的相似度不高于第三阈值;所述指定簇包括所述待加入簇和已满足所述预设条件的补充簇。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211633718.5/1.html,转载请声明来源钻瓜专利网。