[发明专利]具有二维线性可缩放并行结构的搜索引擎

摘要

用具有二维线性可缩放并行结构的搜索引擎搜索文档集(D)，搜索引擎包含用于形成连接在网络中的节点(N)组的数据处理单元，第一组节点包含发送节点(N_α)，第二组节点包含搜索节点(N_β)以及第三组节点包含索引节点(N_γ)。搜索节点(N_β)成组为列，这些列处于发送节点(N_α)和索引节点(N_γ)之间，并行连接在网络中。发送节点(N_α)用来处理搜索请求和搜索结果，搜索节点(N_β)包含搜索软件，至少部分搜索节点还包含至少一个搜索处理模块(M)，索引节点(N_γ)通常用来给搜索软件生成索引I。还可已有第四组节点即采集节点(N_δ)，采集节点用来处理搜索结果，这就可以分离搜索任务中的发送节点。通过采用各自的结构匹配来实现数据容量缩放和搜索引擎性能缩放，从而实现了二维缩放。

主权项

1.一种具有二维线性可缩放并行结构的搜索引擎，用于搜索文本文档集D，其中，文档可以分解成大量的文档分区d1，d2，...dn，其中，文档集D在文本过滤系统中经预处理后可以获得预处理文档集Dp以及相应的预处理文档分区dp1，dp2，...dpn，其中从文档集D中可以生成索引I，这就为每个预处理文档分区dp1，dp2，...dpn生成对应的索引i1，i2，...in，其中对文档集D的文档分区d的搜索发生在文档分区相关的数据组dp.k中，它包含预处理文档分区dpk和相应的索引ik，l≤k≤n，其中搜索引擎包含形成联接在网络中的节点组(N)的数据处理单元，其特征在于：第一组节点，包含a个发送节点(Nα1...Nαa)，第二组节点，包含b个搜索节点(Nβ1...Nβ.b)，第三组节点，包含g个索引节点(Nγ1...Nγg)，以及一个可选的第四组节点，包含e个采集节点(Nδ1...Nδ.e)，发送节点(Nα)，联接在网络的多级结构中，搜索节点(Nβ)，按v列(S)分成组，这些列处于发送节点Nα和索引节点Nγ之间，并行连接在网络中，发送节点(Nα)用来处理搜索查询和搜索结果，搜索查询被发送给所有的搜索节点(Nβ)，如果没有采集节点(Nδ)，搜索结果就返回给发送节点(Nα)并在此综合成最终的搜索结果，每个搜索节点(Nβ)用来存放搜索软件，索引节点(Nγ)通常用来为搜索软件生成索引i以及为每一个包含一个搜索处理器的搜索节点(Nβ)可选地生成文档分区相关的数据组dp.k，如果有采集节点(Nδ)，这些节点联接在网络的多级结构中，与发送节点(Nα)类似用来为搜索查询汇集查询答案并输出一个最终搜索结果，这样发送节点不再执行该项任务，用文档分区d的数目n对搜索节点列(S)的数目υ进行比例缩放，就可以实现对数据容量的缩放；用估计或预期的通信量对每个搜索节点列(Sβ)中的搜索节点(Nβ)进行缩放，可以实现缩放性能，这样，在任何情况下，对文档集D的搜索发生在包含一个文档分区相关的数据组dp.k的单个搜索节点(Nβ)以及含有相同的文档分区相关数据组dp.k的搜索节点的列(Sβ)中的所有搜索节点。