[发明专利]一种分布式向量检索系统及方法

权利要求书

1.一种分布式向量检索系统，其特征在于，所述系统包括：

主节点组，包括多个主节点，其中一个主节点作为领导节点，所述领导节点将向量数据的索引表分片分配至指定向量节点组的各个向量节点上，所述领导节点将其节点数据同步至其他主节点；

多个向量节点组，每个向量节点组包括多个向量节点，每个向量节点存储有向量数据以及向量数据对应的索引表分片，向量节点组中的各个向量节点响应来自路由节点的检索请求或创建索引请求，并根据所述检索请求检索数据或根据所述创建索引请求同步数据，其中，所述同步数据包括创建索引表或更新索引表；

路由节点组，包括多个路由节点，各个路由节点将客户端发送的检索请求或创建索引请求发送至对应的向量节点组，并将向量节点组中的各个向量节点的检索结果合并后返回至客户端；

索引数据维护工具，根据客户端的创建索引请求，将索引向量数据写入索引消息队列，并根据索引消息的类型调用路由节点，以使所述路由节点将所述创建索引请求发送至对应的向量节点组，实现在线向量数据和离线向量数据的一致更新，其中，所述索引向量数据包括在线向量数据和离线向量数据。

2.如权利要求1所述的系统，其中，所述根据索引消息的类型调用路由节点，以使所述路由节点将所述创建索引请求发送至对应的向量节点组，实现在线向量数据和离线向量数据的一致更新，包括：

所述索引数据维护工具在接收到实时索引消息时，从所述索引消息队列中解析出实时索引消息，调用所述路由节点将所述实时索引消息发送至对应的向量节点组，以使所述对应的向量节点组根据所述实时索引消息创建索引表或更新索引表；

所述索引数据维护工具在接收到离线索引消息时，从所述领导节点中获取索引表离线命名空间并清空历史版本数据，调用所述路由节点将所述离线索引消息发送至对应的向量节点组，以使所述对应的向量节点组根据所述离线索引消息创建索引表或更新索引表，在索引表创建或更新完成后，调用所述领导节点，以使所述领导节点将离线命名空间切换成在线命名空间。

3.如权利要求2所述的系统，其中，所述在线命名空间和所述离线命名空间分别表示一个数据集，所述数据集包括向量节点组、索引表名称、向量节点组中的最小节点数、分片数、副本分片数、相似度计算方法和索引字段，

其中，索引表名称具有别名，以使客户端能根据所述别名访问所述在线命名空间或所述离线命名空间。

4.如权利要求1所述的系统，其中，每个向量节点上存储的索引表分片包括主分片和副本分片，

所述向量节点定期向所述领导节点发送心跳信号，以使所述领导节点根据所述向量节点的心跳信号，确定所述向量节点的状态，

在其中一个向量节点宕机时，所述领导节点将该宕机向量节点上的主分片对应的副本分片升级为主分片，并将所述宕机向量节点上的副本分片分配至其他向量节点。

5.如权利要求1所述的系统，其中，每个向量节点上存储的索引表分片包括主分片和副本分片，

向量节点组中的一个向量节点根据所述创建索引请求完成同步数据并存入其主分片，

该向量节点组中的其他向量节点的副本分片从所述一个向量节点的主分片上同步数据，在所述其他向量节点的副本分片同步数据结束后，该向量节点组中的各个向量节点将心跳信号发送至所述领导节点。

6.如权利要求1所述的系统，其中，每个主节点上存储有索引表分片的元数据，以根据所述索引表分片的元数据确定对应的向量节点组，

向量节点组中的各个向量节点在同步数据时，每个向量节点的副本分片的元数据通过心跳信号反馈至所述领导节点，

每个路由节点从所述领导节点中获取索引表分片的元数据进行元数据更新，所述路由节点同时写入向量节点组中的多个向量节点的副本分片的元数据，当所述多个向量节点的副本分片数量不足时，所述路由节点更新元数据失败，直至所述多个向量节点的副本分片同步数据结束时，所述路由节点继续写入所述多个向量节点的副本分片的元数据。