[发明专利]一种分布式全文检索系统

说明书

 

技术领域

    本发明属于数据处理领域，特别是涉及一种分布式全文检索系统的。

 

背景技术

文档检索系统主要实现对调度管理应用中的各类文档、资料和知识库的索引提取及资料搜索功能。

a) 编制索引：对doc、txt、pdf等常用文档文件的文字信息进行文字索引提取。

b) 资料搜索：根据文字索引模糊搜索定位文档、资料。

分布式查询主要实现调度机构之间、调度管理类应用中各模块标准化的数据库信息分布式查询。基于平台的远程服务代理和数据公共服务实现远程数据查询。分布式查询应包含但不限于以下功能：

c) 跨调度机构的数据查询；

d) 按照数据分类进行查询；

e) 数据展示功能。

由于电力行业相关文件，电子信息材料，新闻应用比较多，很多系统都有自己的管理文档的功能，但是面对大量的信息资源，很难定位想要找的文件在那个系统中，存储在哪个服务器上，如何方便快捷、准确地从各个分布式的服务器上上获取所需文件信息，成为至关重要的问题。现有技术中的文档检索系统存在着检索速度慢、占用系统资源过多等的缺陷。

 

发明内容

本发明的目的，是提供一种分布式全文检索系统，从而实现提升检索速度，达到优化目的。

本发明的具体技术方案如下: 1、一种分布式全文检索系统，所述系统由设置在各网络节点上的全文检索服务器组成，包括分布式节点服务器及系统中心服务器；

所述分布式节点服务器包括文件信息检索模块及服务器间通讯模块；

所述文件信息检索模块对本节点服务器上文件定时进行全文信息的检索，按照定义好的词库进行切词，提取关键词信息并建立索引文件；

所述服务器间通讯模块实现分布式节点服务器与系统中心服务器与之间的信息交换，将本节点的索引文件发送到系统中心服务器；

所述系统中心服务器对各节点服务器传送的索引文件进行合并，生成新的索引文件并更新已有索引信息，增加新的文件信息；向用户提供查询接口，响应用户查询文件的请求、分析用户请求，将查询关键词在新的索引文件中进行检索比对，将符合的文件作为查询结果展示给用户。

进一步的，所述分布式节点服务器上生成的索引文件包括文件名称、关键词条、文件分类、所在服务器的IP地址、服务器信息、文件大小、文件作者等相关信息。

进一步的，所述系统中心服务器进一步包括：各个分布式节点服务器状态查询模块及系统重启服务模块；并具有文件在线浏览与下载模块，即系统中心服务器接收下载文件请求，并根据该文件在索引文件中的描述，将请求转发给相应的节点服务器，将读取文件的字节流返给用户实现下载。

进一步的，所述分布式节点服务器还包括：词库管理模块，所述词库管理模块在遍历文件全文内容时根据已有词库进行切词划分，将文件内容切成不同的关键词，然后统计关键词出现的频度和关键词的分类，一同写入到索引文件中。

进一步的，所述词库管理模块按照电网相关技术知识进行统计划分，包括电网文件类、技术论文类、电网设备类、新闻类等；对普通的助词、语气词或普通描述性的词进行过滤。

进一步的，所述分布式节点服务器上安装词库管理客户端，所述客户端对在文件中出现频度较高的词，通过用户手动维护的关键词等添加到索引文件中更新词库。

 

本发明的有益效果是：

（1）在查询效率上,由于使用了依据电力行业知识的词库管理，在生成索引文件时就会过滤一些不明感的、不关心词汇，减小生成的索引文件，提高检索速度。

（2）提供了各节点管理的界面，可以维护各节点相关文件配置，索引生成、词库管理以及与服务器通信等功能，加强了分布式系统的稳定性。

（3）索引文件格式独立于应用平台，定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。

（4）在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，达到优化的目的。

（5）实现了一套强大的查询引擎，默认实现了布尔操作、模糊查询、分组查询等等。

 

附图说明

图1是本发明的系统结构框图。

 

具体实施方式

下面具体阐述本发明的技术方案。