[发明专利]一种搜索终端的控制方法与搜索终端

说明书

本申请涉及一种搜索终端的控制方法与搜索终端，通过基于开源的向量数据库，依据客户端输入的待写入向量建立向量索引子文件存储入外部存储器，再将将所述向量索引子文件映射的内存对象写入内部存储器，使得ElasticSearch搜索引擎即满足标量搜索的需求，又同时满足向量搜索的需求，借助于ElasticSearch自身搜索结果的合并机制，很好地满足了标量搜索结果和向量搜索结果的合并。当一个索引名下所有向量索引子文件的总体数据规模达到预设数据规模时，通过合并该索引名下的所有向量索引子文件，实现对散碎的向量索引子文件进行驱逐和淘汰，防止内存OOM，使得ElasticSearch搜索引稳定可控。

技术领域

本申请涉及技术领域，特别是涉及一种搜索终端的控制方法与搜索终端。

背景技术

美国互联网数据中心指出，互联网上的数据每年将增长50％，每两年便将翻一番，而目前世界上90％以上的数据是最近几年才产生的。目前随着大数据的热潮冲击，用户对搜索数据的意愿越来越强烈，能够被搜索到的数据的数据规模也越来越大。传统的搜索引擎很难满足用户海量的数据搜索需求。

常规的搜索方式一般包括标量搜索和向量搜索。标量是单指标，是一维向量，例如性别，年龄等。向量是多指标，具备多维度(维度大于等于1)，例如多项式系数[w1,w2,...,wn]。标量搜索是基于单指标，单维度的搜索，向量搜索是多指标，多维度的搜索。

目前，尚无能够同时支持标量搜索和向量搜索，且能满足海量数据搜索需求的搜索引擎。开源ElasticSearch不支持向量搜索，而开源Milvus仅为向量引擎，它们都不能同时满足标量和向量搜索需求

发明内容

基于此，有必要针对尚无能够同时支持标量搜索和向量搜索，且能满足海量数据搜索需求的搜索引擎的问题，提供一种搜索终端的控制方法与搜索终端。

本申请提供一种搜索终端的控制方法，包括：

实时监控客户端发送的向量写入请求，每当接收到客户端发送的向量写入请求时，依据客户端输入的待写入向量，基于开源的向量数据库，建立向量索引子文件存储入外部存储器，并基于所述向量索引子文件构建所述向量索引子文件映射的内存对象，将所述向量索引子文件映射的内存对象写入内部存储器；所述向量索引子文件映射的内存对象包括多个向量；

实时监控客户端发送的查询请求，每当接收到客户端发送的查询请求时，依据查询请求中附带的索引名和待查询向量，在内部存储器中搜寻与待查询向量最相似的K个向量输出；

实时监控外部存储器中每一个索引名下所有向量索引子文件的总体数据规模，若一个索引名下所有向量索引子文件的总体数据规模达到预设数据规模，则将该索引名下的所有向量索引子文件合并为一个向量索引文件，将外部存储器中该索引名下的所有向量索引子文件删除，将内部存储器中该索引名下的所有向量索引子文件各自映射的内存对象删除。

本申请还提供一种搜索终端，包括：

ElasticSearch搜索引擎，搭载有FAISS向量索引库和nmslib向量索引库；

所述ElasticSearch搜索引擎包括：

处理器，设置于所述ElasticSearch搜索引擎中，用于执行如前述内容提及的搜索终端的控制方法；

外部存储器，设置于所述ElasticSearch搜索引擎中，与所述处理器电连接；

内存缓存，设置于所述ElasticSearch搜索引擎中，所述内存缓存与所述处理器电连接，所述内存缓存还与外部存储器电连接；

内部存储器，设置于所述ElasticSearch搜索引擎中，所述内部存储器与所述处理器电连接，所述内部存储器还与外部存储器电连接。