[发明专利]具有二维线性可缩放并行结构的搜索引擎

摘要

用具有二维线性可缩放并行结构的搜索引擎搜索文档集(D)，搜索引擎包含用于形成连接在网络中的节点(N)组的数据处理单元，第一组节点包含发送节点(N_α)，第二组节点包含搜索节点(N_β)以及第三组节点包含索引节点(N_γ)。搜索节点(N_β)成组为列，这些列处于发送节点(N_α)和索引节点(N_γ)之间，并行连接在网络中。发送节点(N_α)用来处理搜索请求和搜索结果，搜索节点(N_β)包含搜索软件，至少部分搜索节点还包含至少一个搜索处理模块(M)，索引节点(N_γ)通常用来给搜索软件生成索引I。还可已有第四组节点即采集节点(N_δ)，采集节点用来处理搜索结果，这就可以分离搜索任务中的发送节点。通过采用各自的结构匹配来实现数据容量缩放和搜索引擎性能缩放，从而实现了二维缩放。

主权项

1.一种具有二维线性可缩放并行结构的搜索引擎，用于搜索文本文档集D，其中，文档可以分成若干文档分区d1，d2，...dn，其中，文档集D在文本过滤系统中经预处理后可以获得预处理文档集Dp以及相应的预处理文档分区dp1，dp2，...dpn，其中从文档集D中可以生成索引I，这就为每个预处理文档分区dp1，dp2，...dpn生成对应的索引i1，i2，...in，其中用文档分区相关的数据组dp，k对文档集D的文档分区d进行搜索，其中1≤k≤n，且其中该搜索引擎包含形成联接在网络中的节点组(N)的数据处理单元，其特征在于：第一组节点，包含a个发送节点(Nα1...Nαa)，第二组节点，包含b个搜索节点(Nβ1...Nβ.b)，第三组节点，包含g个索引节点(Nγ1...Nγg)，以及可选的第四组节点，包含e个采集节点(Nδ1...Nδe)，发送节点(Nα)，联接在网络的多级结构中，搜索节点(Nβ)，分组成v列(S)，这些列处于发送节点(Nα)和索引节点(Nγ)之间，并行连接在网络中，该发送节点(Nα)用来处理搜索查询和搜索结果，搜索查询再发送给所有的搜索节点(Nβ)，如果没有采集节点(Nδ)，搜索结果就返回给发送节点(Nα)并在此综合成最终的搜索结果，每个搜索节点(Nβ)用来存放搜索软件，索引节点(Nγ)通常用来为搜索软件生成索引i以及用来对各包含一个搜索处理器模块的搜索节点(Nβ)可选地生成文档分区相关的数据组dp，k，如果有采集节点(Nδ)，这些节点与发送节点(Nα)类似，联接在网络的多级结构中，用来汇集搜索查询的答案并输出其最终结果，这样发送节点不再执行该项任务，用文档分区d的数目n对搜索节点列(S)的数目υ进行比例缩放，就可以实现对数据容量的缩放；用估计或预期的业务量负荷对每个搜索节点列(Sβ)中的搜索节点(Nβ)的数目b/v进行缩放，可以实现缩放性能，这样，在任何情况下，通过让每个搜索节点列(S)包含一个文档分区相关的数据组dp，k并且让搜索节点列(Sβ)中的所有搜索节点(Nβ)每一个含有相同的文档分区相关数据组dp，k，进行对文档集D的搜索。。