[发明专利]分布式搜索系统、索引分发方法及存储介质

说明书

本申请实施例公开了一种分布式搜索系统、索引分发方法及存储介质，该系统包括：分布式索引构建平台，用于构建索引，将索引分片存储在索引存储集群，将资源描述信息写入到状态存储集群，索引分片包括多个文件块；索引存储集群；状态存储集群；主控集群，用于发送索引下载指令到状态存储集群；搜索集群，包括多个搜索节点，多个搜索节点组成对等网络，若搜索节点监听到索引下载指令，则确定要下载的索引分片及文件块，若至少两个其他搜索节点有文件块，则搜索节点确定至少两个其他搜索节点中的一个搜索节点为文件块的下载源，并从下载源下载文件块。本申请实施例提高了索引分发速度，提高了搜索服务的稳定性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种分布式搜索系统、索引分发方法及存储介质。

背景技术

在分布式搜索服务中，索引构建平台构建好索引后，需要迅速分发索引到搜索集群中。在索引文件很大和搜索集群机器很多的情况下，如何迅速分发索引到搜索服务中，是分布式搜索服务必然面对的问题。

目前主流的搜索服务有Solr和Elasticsearch，它们采用的索引分发方案都是将索引从主(Master)节点同步到从(Slave)节点，多个从节点从一个主节点下载索引文件。

在索引文件很大且搜索集群较大的情况下，索引分发的速度严重受限于主节点的机器性能和网络带宽，无法随索引大小、搜索机器数量扩展，同时主节点压力过大，影响搜索服务的稳定性。

发明内容

本申请实施例提供一种分布式搜索系统、索引分发方法及存储介质，以提高索引分发速度，提高搜索服务的稳定性。

为了解决上述问题，第一方面，本申请实施例提供了一种分布式搜索系统，包括：

分布式索引构建平台，用于构建索引，将所述索引按照索引分片存储在索引存储集群，并将所述索引的资源描述信息写入到状态存储集群，所述索引分片包括多个文件块；

索引存储集群，用于按照索引分片存储所述索引；

状态存储集群，用于保存所述资源描述信息，对搜索节点的服务进行注册，并保存所述搜索节点的服务状态，接收主控集群发送的索引下载指令；

主控集群，用于监听所述状态存储集群，若监听到所述资源描述信息，则发送索引下载指令到状态存储集群；

搜索集群，包括多个搜索节点，所述多个搜索节点组成对等网络，若所述搜索节点从状态存储集群中监听到所述索引下载指令，则确定要下载的索引分片及所述索引分片中的文件块，若至少两个其他搜索节点有所述文件块，则所述搜索节点根据自身与所述至少两个其他搜索节点的距离和所述至少两个其他搜索节点的网络传输速度，确定所述至少两个其他搜索节点中的一个搜索节点为所述文件块的下载源，并从所述下载源下载所述文件块。

第二方面，本申请实施例提供了一种索引分发方法，包括：

分布式索引构建平台构建索引，将所述索引按照索引分片存储在索引存储集群，并将所述索引的资源描述信息写入到状态存储集群，所述索引分片包括多个文件块；

主控集群监听所述状态存储集群，若监听到所述资源描述信息，则发送索引下载指令到状态存储集群；

若搜索集群中的搜索节点从状态存储集群中监听到所述索引下载指令，则确定要下载的索引分片及所述索引分片中的文件块；

若所述搜索集群中至少两个其他搜索节点有所述文件块，则所述搜索节点根据自身与所述至少两个其他搜索节点的距离和所述至少两个其他搜索节点的网络传输速度，确定所述至少两个其他搜索节点中的一个搜索节点为所述文件块的下载源，并从所述下载源下载所述文件块。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的索引分发方法的步骤。