[发明专利]一种云搜索平台

说明书

技术领域

    本发明涉及一种云搜索平台，属于互联网搜索引擎技术领域。

背景技术

当前的搜索平台基本以网站的方式来提供，可以将不同来源的数据进行提炼、整合，并充分利用已有的技术及应用资源，建成一个供搜索的平台，由于现有搜索平台的数据来源有限且现有数据集成工具具有技术瓶颈，导致无法提供全方位的搜索，搜索结果不可靠，无说服力；并且，现有搜索平台无法提供动态索引，不能够实时提供检索服务；可靠性亦不高，当出现异常故障时无法运行，不能提供不间断服务；另外，随着检索存储数据的不断累积增加，存储空间受限成为一个亟待解决的问题。

发明内容

本发明所要解决的技术问题是，提供一种全方位搜索、高可靠性、高存储量、低延迟的云搜索平台。

为解决上述技术问题，本发明采用的技术方案为：

一种云搜索平台，包括：用户权限系统，第二表示层，其特征在于：还包括依次双向数据通信的基础数据层、数据持久层、JAVA应用支撑层和第一表示层，所述用户权限系统分别与所述基础数据层、数据持久层、JAVA应用支撑层和第一表示层双向数据通信，所述第二表示层与所述基础数据层双向数据通信；

所述基础数据层的数据来源包括以下模块：

数据库模块：所述数据库模块为数据持久层提供基础数据来源，所述数据库模块的数据来源为各个专业型数据库；

文档模块：所述文档模块将基础数据层中的全部文档进行统一的存储，所述文档模块的数据来源为自制文档和网页文档；

应用数据源模块：所述应用数据源模块为第二表示层提供数据源支撑，所述应用数据源模块的数据来源为为网站、门户、OA、MIS应用的编程文件；

所述数据持久层包括索引数据结构模块，所述索引数据结构模块包括以下组件：

索引系统组件：具有Searcher和Indexer应用入口，输入查询语句后，查询分析器分析，将查询语句转换成精确查询的组合，通过所述基础数据层读取数据并用打分器给查询结果打分排序，形成索引，实时提供检索服务，数据增删改时快速同步更新索引，实现动态索引；

数据抽取引擎组件：根据所述索引系统组件形成的索引，由所述基础数据层抽取索引到所述数据持久层，所述抽取是使用ETL技术进行数据抽取； 

数据采集组件：实现由所述数据抽取引擎组件抽取的索引的清洗转换和加载，所述清洗转换和加载是使用ETL技术实现的； 

中文语言处理组件：实现经所述数据采集组件清洗转换和加载的索引的中文转化；

检索服务组件：实现经所述中文语言处理组件中文转化的索引的检索服务；

所述JAVA应用支撑层为服务总线，包括数据处理组件、逻辑检索组件和概念检索组件，所述JAVA应用支撑层具有逻辑检索服务功能、关键字抽取功能、自动摘要功能和中文分词功能，所述逻辑检索组件采用Elasticsearch分布式搜索引擎；

所述第一表示层具有检索模块、统计分析模块和数据维护模块，各模块的功能如下：

检索模块：提供全方位检索手段，包括被检索对象外部特征和正文内容的各种逻辑组合检索、位置检索、二次检索、渐进检索、模糊检索、历史检索、词根检索、大小写敏感检索、概念检索和对检索结果按与检索表达式的相关性程度排序，实现精确计算，报告准确的检索记录数，并支持中英文的混合检索，支持日、韩、法、藏、维多语系；

统计分析模块：支持对检索结果的各种排序，包括基于正文内容与检索表达式的相关度计算的相关性排序和基于一个或多个外部特征的字段排序；

数据维护模块：支持多种数据来源的数据的全文索引，自动将关系型数据库中的数据导入全文索引并自动保持同步更新，具备完善的非结构化数据管理功能，所述关系型数据库包括有 DB2、Oracle、SQLServer、MySQL、sybase、Informix、Postgresql，所述关系型数据库属于基础数据层的数据库模块。

所述索引系统组件为Lucene全文检索引擎。

所述JAVA应用支撑层使用的编辑语言为JAVA语言，所述JAVA语言包含JSP技术规范、SERVERLET技术规范、JAVAMAIL技术规范、JNI技术规范、JAVABEANS技术规范和JMS技术规范。