[发明专利]基于zookeeper分布式搜索引擎的配置文件更新方法、装置及系统

说明书

技术领域

本发明涉及通信领域的配置文件更新技术，尤其涉及一种基于zookeeper分布式搜索引擎系统的配置文件更新方法、装置及系统。

背景技术

图1所示的为一种分布时搜搜引擎系统，分布式搜索引擎系统通常是通过zookeeper进行系统管理的。分布式搜索引擎系统包括主master节点和从slave节点，master节点和slave节点上正常运行情况下都会有多个搜索任务，可以根据上层应用的业务场景来定制搜索任务。图1中的所述的slave节点包括slave节点1和slave节点2。

master节点的搜索任务有采集数据需求的配置文件，搜索任务通过更改这些配置文件采集上层应用需求的数据，然后进行索引处理，生成索引文件，通过检索接口对外提供搜索服务。

slave节点的搜索任务没有上述配置文件，slave节点获取上述配置文件的方法为：

master节点上的配置文件需要先上传到zookeeper上；

slave节点从zookeeper上获取配置文件并加载到内存中。

在成功加载配置文件后，所述slave节点与所述master节点一样，通过上层应用相应的搜索任务进行索引处理，同样生成索引文件，通过检索接口对外提供搜索服务；从而实现搜索任务的分布式处理。

随着上层应用业务场景的需求变更，搜索引擎系统master节点的搜索任务下的配置文件需要对应更新。当master节点内的配置文件更新后，为了实现slave节点与master节点的配置文件的同步，管理人员将手动的重启master节点，使master节点将配置文件上传到zookeeper中。

图2所示为现有技术中master节点和slave节点之间配置文件同步的方法，

包括：

步骤S1：master节点在重启时开始上传配置文件到zookeeper；

步骤S2：slave节点在重启时开始读取存储在zookeeper中的配置文件。

由图2可知，master节点更新完成后，需要在管理人员手动触发下重启，才能把更新后的配置文件上传到zookeeper；slave节点同样需要在管理人员的手动触发重启，才会去zookeeper获取一次最新的配置文件并加载到内存；不管是master节点还是slave节点重启均要等待数分钟才能恢复到正常工作，比较影响效率。

发明内容

有鉴于此，本发明实施例期望提供一种基于zookeeper分布式搜索引擎系统的配置文件更新方法、装置及系统，以自动实现实slave节点的配置文件与master节点之间配置文件的同步并提高master节点与slave节点之间配置文件同步的效率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供一种基于zookeeper分布式搜索引擎系统的配置文件更新方法，所述方法包括：

检测master节点是否形成了新的配置文件；

当确定形成了新的配置文件时，将所述新的配置文件发送到zookeeper；

所述新的配置文件用于通过所述zookeeper发送到slave节点。

上述方案中，所述检测master节点是否形成了新的配置文件为：

获取前一次配置文件的更新时间；

检测所述master节点的配置文件的更新时间；

当检测结果表明所述更新时间发生了变化时，确定是否形成了新的配置文件。

上述方案中，所述检测所述master节点的配置文件的更新时间为：

通过运行在所述master节点中的脚本进程定时或实时检测所述master节点的配置文件的更新时间。

本发明提供的一种基于zookeeper分布式搜索引擎系统的配置文件更新方法，所述方法包括：

接收并存储master节点发送的新的配置文件；

将所述新的配置文件发送给slave节点；

所述新的配置文件用于替换所述slave节点中的旧的配置文件，加载到所述slave节点内存中用于搜索任务的处理。

上述方案中，所述方法还包括：

向所述slave节点发送加载通知；

所述加载通知用于触发所述slave节点在接收到所述新的配置文件之后，加载到所述slave节点的内存中。

本发明提供一种基于zookeeper分布式搜索引擎系统的配置文件更新方法，所述方法包括：

接收zookeeper发送的新的配置文件；