[发明专利]一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质

说明书

本发明提供一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质，在全文检索引擎中配置储存装置；配置储存装置容量；统计预设时间段内检索每个文档的检索频率；统计储存装置中文档检索频率；将预设时间段内检索次数超过第一阈值的文档移至储存装置中，并配置映射表。基于非易失性内存的全文检索引擎缓存方法解决用户检索响应时间的问题，用户检索的映射和目标文档由原来磁盘到目前存储在非易失性内存中，数据读取时间也得降低，降低全文检索引擎用户响应时间。将映射表保存到储存装置中提升了检索效率。解决高并发检索请求的问题，使用非易失性内存增大了全文检索引擎缓存，可以提高所支持全文检索引擎的用户并发数量。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于非易失性内存的全文检索引擎缓存方法，系统，设备及可读存储介质。

背景技术

由于互联网、物联网应用的发展，数据量也在逐步的扩大，如何检索海量数据，成为技术发展挑战，传统的关系型数据库，能够满足关系型数据的检索需要，但是当前非结构化数据的增长已经超出了结构化关系型数据，为解决海量数据、非结构化数据的全文检索需求，如何解决高效、快速全文检索引擎技术成为当前的技术热点。

为了能够解决高效、快速全文检索，目前采用较多的方式是全文检索引擎，全文检索引擎是使用Java编写基于Lucene的全文检索引擎，其对外提供一套简单一致的RESTfulAPI。全文检索引擎可以实时文档存储，每个字段可以被索引与搜索。可以实时分析搜索引擎。能胜任上百个服务节点的分布式扩展，并支持PB级别的结构化或者非结构化数据。

但是现在全文检索引擎使用了过滤器缓存、字段数据缓存、查询分片缓存、circuit breaker等缓存相关技术，但是受限于内存资源的总量，在提高全文检索引擎的性能上作用有限。

而且，映射表存储在磁盘上，由于磁盘读写性能限制了映射表读取数据的效率；另一方面，由于映射表数据量的增大，映射表需要切分为多个分段文件，在进入内存时无法一次全部读入内存。

发明内容

为了克服上述现有技术中的不足，本发明提供的基于非易失性内存的全文检索引擎缓存方法，提高全文检索引擎性能，满足高并发，且提高了缓存容量。

根据本发明实施例的第一方面，提供了一种基于非易失性内存的全文检索引擎缓存方法，方法包括：

在全文检索引擎中配置储存装置；

配置储存装置容量；

统计预设时间段内检索每个文档的检索频率；

统计储存装置中文档检索频率；

将预设时间段内检索次数超过第一阈值的文档移至储存装置中，并配置映射表。

进一步需要说明的是，在全文检索引擎中配置内存及文档缓存；

分别配置内存容量和文档缓存容量；

统计预设时间段内检索每个文档的频率；

统计文档缓存中文档检索频率；

将预设时间段内检索次数超过第一阈值的文档储存至文档缓存中，并配置文档缓存映射表；

将预设时间段内检索次数低于第一阈值，高于第二阈值的文档移至内存中；

将所述文档缓存清除的文档存储至内存中，并配置内存映射表；

在所述内存中的文档的存储时长大于预设时长时，将所述文档删除。

进一步需要说明的是，步骤分别配置内存容量和文档缓存容量之后还包括：

获取用户提交的搜索文档请求信息，在缓存映射表中搜索所述文档ID：