[发明专利]一种分布式实时搜索引擎

摘要

本发明涉及搜索引擎技术领域，尤其涉及一种分布式实时搜索引擎。本发明的分布式实时搜索引擎，其系统构建和运行至少包括以下步骤：A.设计系统的功能性结构，B.设计系统的数据索引结构，C.索引的创建，D.索引的更新，E.索引的检索。本发明的分布式实时搜索引擎能够在系统的内存中同时构建更新时索引和合并时索引，索引检索时通过同时访问更新时索引和合并时索引，当更新时索引的文档数量积累到阈值后，更新索引提交到磁盘索引并变更为合并时索引，原有的合并时索引变更为新的更新时索引，保证了正在更新中的数据也能够被检索到，提高了搜索引擎可检索数据的实时性。

主权项

一种分布式实时搜索引擎，其系统构建和运行至少包括以下步骤：A．设计系统的功能性结构，该功能性结构是在基于Master/Slave的集群式系统中创建，包括以下功能节点：中心控制节点、索引数据存储节点和对外服务节点，其中，所述的中心控制节点创建于Master系统中，所述的索引数据存储节点和对外服务节点创建于Slave系统中，所述的中心控制节点，用于数据索引结构中索引的属性信息的存储和维护，以及索引数据存储节点的属性信息的存储和维护，所述的索引数据存储节点用于数据索引结构中索引分片的创建、更新和检索，所述的客户节点用于接收索引的创建、更新和检索请求并将该请求转发至中心控制节点进行处理；B.设计系统的数据索引结构，该索引结构从上到下的树形层次构成是：索引、索引分片、段、文档和域，其中，所述的索引在一个系统中可以有多个，所述的一个索引分片是所述索引被分割后的一个数据块，其中，属于同一索引的各个索引分片存储在索引数据存储节点上，所述的一个索引分片是由一至多个段构成，所述的一个段是由一至多个文档构成，一个段中所含的各个文档可以是不同的数据对象类型，所述的一个文档在系统全局中具有唯一标识的键值，所述的文档的结构包含用于描述文档类型的域；C.索引的创建，包括以下步骤：    C1.对外服务节点接收到索引创建请求后将该请求转发至中心控制节点，中心控制节点解析该索引创建请求，从中提取待创建索引的属性信息，并验证该属性信息是否是完备的和有效的，如果该属性信息完备并且有效，则进行步骤C2的处理，如果该属性信息不完备或者无效，则发送应答失败信息至对外服务节点；C2.中心控制节点根据步骤C1中生成的待创建索引的属性信息中的索引分片数将待创建索引分割为若干分片，同时，根据存储于中心控制节点中的索引数据节点的属性信息，来判断每个索引数据节点的状态和负载情况，并依此来确定每个索引分片在哪个索引数据节点中存储和创建，然后将待创建索引的属性信息发送至各个相对应的索引数据存储节点；索引数据存储节点根据收到的待创建索引的属性信息，在该索引数据存储节点上构建中心控制节点分派的所述待创建索引的一个索引分片，如果该索引数据存储节点创建该索引分片失败，则中心控制节点将该索引分片分派给其他的状态良好、负载相对比较小的索引数据节点来创建，直至该待创建索引的全部索引分片在索引数据存储节点中创建完成或者创建失败，进行步骤C3的处理；C3.如果步骤C2中待创建索引的全部索引分片在索引数据存储节点中创建完成，中心控制节点更新存储于其中的索引数据存储节点属性信息，并发送索引分片创建成功的应答信息至对外服务节点；如果步骤C2中待创建索引的全部索引分片在索引数据存储节点中创建失败，则向对外服务节点发送创建索引失败的应答；D.索引的更新，包括以下步骤：D1.对外服务节点接收到索引更新请求后将该请求转发至中心控制节点，中心控制节点根据存储于其中的索引属性信息和索引数据存储节点属性信息，将该索引更新请求发送至该索引的索引分片所在的索引数据存储节点；D2.索引数据存储节点根据收到的索引更新请求，在待更新索引所在索引数据存储节点的索引分片上，将更新文档存储于新的段中，如果更新文档存储成功，则将该更新文档相对应的旧文档在新的段中标记为删除状态，并返回索引更新成功信息至中心控制节点，如果更新文档存储失败，则返回索引更新失败信息至中心控制节点，中心控制节点最后将索引更新成功或失败的信息发送至对外服务节点；该步骤D的索引更新，还包括文档的删除步骤：当索引更新请求仅为删除文档命令时，在待删除文档所在的索引数据存储节点的存储分片上，在新的段中将该文档标记为删除；该步骤D的索引更新，还包括构建实时索引的步骤：在系统的内存中同时构建更新时索引和合并时索引，索引的检索是通过访问该更新时索引和合并时索引进行，在进行索引更新时，更新中的索引为所述的更新时索引，当该更新时索引的文档数量达到阈值或者该更新时索引的更新时间达到阈值时，系统提交该更新时索引到磁盘索引中，之后变更该更新时索引为合并时索引并同时变更之前的合并时索引为更新时索引；E.索引的检索，包括以下步骤：E1.对外服务节点接收索引的检索请求后将其发送至中心控制节点，中心控制节点解析该检索请求并判断其所针对的目标索引，然后根据索引数据存储节点属性信息和目标索引的属性信息，查找该目标索引的所有索引分片，并向存储每个分片的索引数据存储节点分派检索请求；E2.索引数据存储节点根据收到的检索请求，在其存储的相应索引分片上检索相关文档，最后将检索结果排序后发送至对外服务节点；E3.对外服务节点将接收到的各个索引数据存储节点的检索结果整合、排序后发送至客户端。