[发明专利]全文快速检索方法、装置、电子设备及存储介质

说明书

本发明涉及一种全文快速检索方法、装置、电子设备及存储介质，所述全文快速检索装置，包括：数据抽取模块、拦截分词模块、索引构建模块、检索接口模块；所述数据抽取模块用于将非结构化数据同步到搜索服务器中；所述拦截分词模块用于对搜索服务器中的所述非结构化数据进行拦截和分词，得到词与所述词相关的信息；所述索引构建模块用于将所述词及与所述词相关的信息构建成索引；所述检索接口模块用于提供检索接口以供客户端进行基于所述索引的检索。根据本发明实施例提供的全文快速检索装置集成了搜索服务器等组件，可以实现一键安装，拥有统一的搜索接口，并且可以自定义抽取数据的任务，提供一站式全文检索服务。

技术领域

本发明涉及信息检索技术领域，尤其涉及一种全文快速检索方法、装置、电子设备及存储介质。

背景技术

传统的关系型数据库采用表格的储存方式，一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织，数据以行和列的方式进行存储，要读取和查询都十分方便。然而随着企业的业务发展，其数据库的数据量也会不断增长，即使对数据库进行了优化，数据量也会非常庞大，当在面对海量数据进行查询时，性能会下降得严重，特别是对于传统的关系型数据库，常常出现查询超时，单点故障等问题。而且，在根据用户输入的关键词和设置的筛选条件进行检索时，有时会出现返回得结果很少甚至无结果的情况。

面对不断增长的海量数据，如何提高检索速度，提升用户的检索体验，以及能够给用户推荐一些相关的检索建议，成为了亟待解决的问题。

发明内容

本发明的目的是提供一种全文快速检索方法、装置、电子设备及存储介质，用以至少部分解决现有技术中存在的问题。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明提供了一种全文快速检索装置，包括：数据抽取模块、拦截分词模块、索引构建模块、检索接口模块；

所述数据抽取模块用于将非结构化数据同步到ElasticSearch中；

所述拦截分词模块用于对ElasticSearch中的所述非结构化数据进行拦截和分词，得到词与所述词相关的信息；

所述索引构建模块用于将所述词及与所述词相关的信息构建成索引；

所述检索接口模块用于提供检索接口以供客户端进行基于所述索引的检索。

可选地，所述数据抽取模块使用增量抽取将所述非结构化数据同步到ElasticSearch中。

可选地，所说拦截分词模块包括：

附件拦截器，用于对所述非结构化数据中附件形式的数据进行文本提取；

聚合拦截器，用于将所述非结构化数据中存在关联的表格或字段聚合在一起；

数组拦截器，用于将所述非结构化数据中存在关联的所述词存储在一个数组中；

自动补全拦截器，用于基于所述非结构化数据中存在对应关系的所述词建立词法树。

可选地，所述索引构建模块基于所述拦截分词模块处理结果，构建支持附件检索、模糊检索、拼音检索以及自动补全的索引。

可选地，所述检索接口模块提供的检索接口是统一的Restful风格接口。

可选地，还包括预处理模块，用于对ElasticSearch中的所述非结构化数据进行预处理。

第二方面，基于本发明第一方面所述的全文快速检索装置所实现的全文快速检索方法，包括：

将非结构化数据同步到ElasticSearch中；

对ElasticSearch中的所述非结构化数据进行拦截和分词，得到词与所述词相关的信息；