[发明专利]一种搜索终端的控制方法与搜索终端有效
申请号: | 202110362676.5 | 申请日: | 2021-04-02 |
公开(公告)号: | CN112966007B | 公开(公告)日: | 2022-06-17 |
发明(设计)人: | 陈力;仇应俊 | 申请(专利权)人: | 新华智云科技有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/25;G06F16/22;G06F3/06 |
代理公司: | 杭州裕阳联合专利代理有限公司 33289 | 代理人: | 田金霞 |
地址: | 310012 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 搜索 终端 控制 方法 | ||
1.一种搜索终端的控制方法,其特征在于,所述方法包括:
S100,实时监控客户端发送的向量写入请求,每当接收到客户端发送的向量写入请求时,依据客户端输入的待写入向量,基于开源的向量数据库,建立向量索引子文件存储入外部存储器,并基于所述向量索引子文件构建所述向量索引子文件映射的内存对象,将所述向量索引子文件映射的内存对象写入内部存储器;所述向量索引子文件映射的内存对象包括多个向量;
S200,实时监控客户端发送的查询请求,每当接收到客户端发送的查询请求时,依据查询请求中附带的索引名和待查询向量,在内部存储器中搜寻与待查询向量最相似的K个向量输出;
S300,实时监控外部存储器中每一个索引名下所有向量索引子文件的总体数据规模,若一个索引名下所有向量索引子文件的总体数据规模达到预设数据规模,则将该索引名下的所有向量索引子文件合并为一个向量索引文件,将外部存储器中该索引名下的所有向量索引子文件删除,将内部存储器中该索引名下的所有向量索引子文件各自映射的内存对象删除;
所述S300包括:
S310,实时监控外部存储器中每一个索引名下所有向量索引子文件的数量之和,判断在每一个索引名下所有向量索引子文件的数量之和是否小于第二数量阈值;
S321,若在一个索引名下所有向量索引子文件的数量之和大于或等于所述第二数量阈值,则将所述外部存储器中在所述索引名下的所有向量索引子文件合并为一个向量索引文件;
S322,基于所述向量索引文件构建所述向量索引文件映射的内存对象,将所述向量索引文件映射的内存对象写入内部存储器;所述外部存储器中的所述向量索引文件仍然保留;
S323,在外部存储器中删除在所述索引名下的所有向量索引子文件;
S324,在内部存储器中删除在所述索引名下每一个向量索引子文件映射的内存对象。
2.根据权利要求1所述的搜索终端的控制方法,其特征在于,所述S100包括:
S111,实时监控客户端发送的向量写入请求;
S112,当接收到客户端发送的向量写入请求时,获取客户端输入的待写入向量;
S113,读取所述向量写入请求中的索引名,将所述待写入向量存储入所述索引名对应的内存缓存,返回所述S111。
3.根据权利要求2所述的搜索终端的控制方法,其特征在于,所述S100还包括:
S121,每隔预设时间段,判断每一个索引名对应的内存缓存中向量的数量是否小于第一数量阈值;
S122,若一个内存缓存中向量的数量大于或等于所述第一数量阈值,则基于FAISS数据库,在外部存储器中生成包含该内存缓存中所有向量的FAISS向量索引子文件;
S123,若一个内存缓存中向量的数量小于所述第一数量阈值,则基于nmslib数据库,在外部存储器中生成包含该内存缓存中所有向量的HNSW向量索引子文件;
S124,返回所述S121。
4.根据权利要求3所述的搜索终端的控制方法,其特征在于,所述S100还包括:
S130,基于外部存储器中生成的FAISS索引子文件或HNSW索引子文件构建所述FAISS索引子文件或HNSW索引子文件映射的内存对象,将所述FAISS索引子文件或HNSW索引子文件映射的内存对象写入内部存储器;外部存储器中的FAISS索引子文件或HNSW索引子文件仍然保留。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华智云科技有限公司,未经新华智云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110362676.5/1.html,转载请声明来源钻瓜专利网。