[发明专利]一种搜索引擎的扩容方法及搜索服务系统

权利要求书

1.一种搜索引擎的扩容方法，包括：

为用于扩容的检索节点创建扩容任务；

用于扩容的检索节点领取到扩容任务后，在分布式文件系统上复制最新时间点的全量索引，然后消费所述分布式文件系统中从所述最新时间点开始、到当前时间点为止的所有增量数据；所述全量索引是对全量数据所做的索引；所述全量数据是以全量周期为间隔导入到所述分布式文件系统上的源数据；所述增量数据是以固定时间间隔定时导入到所述分布式文件系统中、以时间快照方式存储的源数据。

2.如权利要求1所述的方法，其特征在于，所述为用于扩容的检索节点创建扩容任务的步骤包括：

当请求量增加，导致当前检索节点无法承载时，创建增加各列索引的副本的扩容任务；所述用于扩容的检索节点为用于承载新增副本的检索节点，个数为列索引的个数与所增加的副本个数的乘积；

当索引规模变大，导致单次请求平均响应变慢时，创建增加列索引的个数的扩容任务；所述用于扩容的检索节点为用于承载新增列索引的检索节点，个数为增加的列索引个数与各列索引副本个数的乘积。

3.如权利要求1所述的方法，其特征在于，还包括：

对于全量索引中的各索引行，分别将各索引行的唯一键对于虚拟组的总个数取模，得到各索引行的取模结果；分别将各索引行分入组号等于该索引行的取模结果的虚拟组中；

分别将每个虚拟组的组号对于列索引的总个数取模，得到各虚拟组的取模结果；分别将各虚拟组对应于分片号等于该虚拟组取模结果的列索引；

所述检索节点在分布式文件系统上复制最新时间点的全量索引的步骤包括：

检索节点在分布式文件系统上复制本检索节点所承载的列索引对应的虚拟组中最新时间点的各索引行。

4.如权利要求1所述的方法，其特征在于，还包括：

客户端节点周期性从分布式文件系统导入全量数据；

每次导入后，承载列索引的各检索节点中具有控制角色的检索节点消费导入的全量数据，生成全量索引并将该全量索引回流到分布式文件系统；将回流到分布式文件系统上的全量索引复制到本地作为新的全量索引，将索引路径指向所述新的全量索引。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

客户端节点启动后连接分布式服务框架系统，判断是否已生成本身所承载的搜索服务的路径；

如果该路径没生成，则客户端节点生成该路径并将自身IP以该路径的数据注册；如果该路径已生成，则判断该路径下的数据是否和自身IP一致，如果一致则该客户端节点获得执行增量、全量数据导入分布式文件系统的权限；如果不一致则监视该路径；

如果获得执行增量、全量数据导入分布式文件系统的权限的客户端节点在预定时间长度内没有任何心跳检查，则所述分布式服务框架系统删除所述路径；所有监视了该路径的客户端节点将触发一次监视者事件；所述监视者事件是指重新生成所述路径并将自身IP以该路径的数据注册。

6.如权利要求1到5中任一项所述的方法，其特征在于，所述消费分布式文件系统中从所述最新时间点开始、到当前时间点为止的所有增量数据的步骤后还包括：

用于扩容的检索节点对外发布搜索服务；

中心节点在用于扩容的检索节点发布搜索服务后，保存该搜索服务分布的索引存储结构的视图关系；

在所有用于扩容的检索节点发布搜索服务成功后，中心节点将所述视图关系同步到分布式服务框架系统中；

所述分布式服务框架系统将该视图关系推送到属于该搜索服务的客户端节点。

7.一种搜索服务系统，包括：检索节点、客户端节点、分布式文件系统；

其特征在于，还包括：

中心节点，用于为用于扩容的检索节点创建扩容任务；

用于扩容的检索节点用于当领取到扩容任务后在分布式文件系统上复制最新时间点的全量索引，然后消费所述分布式文件系统中从所述最新时间点开始、到当前时间点为止的所有增量数据；所述全量索引是对全量数据所做的索引；所述全量数据是所述客户端节点以全量周期为间隔导入到所述分布式文件系统上的源数据；所述增量数据是所述客户端节点以固定时间间隔定时导入到所述分布式文件系统中并以时间快照方式存储的源数据。