[发明专利]一种基于堆外内存的缓存索引的方法及系统

说明书

本发明公开了一种基于堆外内存的缓存索引的方法及系统。本发明方法包括以下步骤：当Lucene处于启动状态时，在堆外内存中为索引数据分配指定大小的内存并放入内存池后，对堆外缓存索引预热；当Lucene处于索引状态时，判断堆外内存索引容量大小，若所述索引容量达到需求值，则在堆外内存索引中打开输出流以写入索引数据；当Lucene处于搜索状态时，判断堆外内存索引中是否存在当前需要读取的索引数据，若存在，则在堆外内存索引中打开输入流以读取索引数据。本发明系统与方法相对应。本发明大大降低因磁盘IO带来的性能瓶颈，又能将数据持久化；同时不会因磁盘IO瓶颈导致降低合并速度进而导致数据实时写入延迟。

技术领域

本发明属于计算机信息存储索引技术领域，尤其涉及一种基于堆外内存实现Apache Lucene的缓存索引的方法及系统。

背景技术

Lucene的索引分为堆内内存索引、文件系统索引以及HDFS索引。堆内内存索引是基于JVM的堆内内存实现，与磁盘无交互故无磁盘IO性能瓶颈，但是，不能对数据做持久化，存在数据丢失的风险，且在数据过大时还存在GC耗时过长的严重性能问题；文件系统索引或HDFS索引能够对数据做持久化，但在亿级数据量环境中存在磁盘IO性能瓶颈。

发明内容

本发明的目的在于提供一种基于堆外内存的缓存索引的方法及系统，旨在解决现有上述背景技术中现有技术存在的不足。

本发明是这样实现的，一种基于堆外内存的缓存索引的方法，该方法包括以下步骤：

当Lucene处于启动状态时，在堆外内存中为索引数据分配指定大小的内存并放入内存池后，对堆外缓存索引预热；

当Lucene处于索引状态时，判断堆外内存索引容量大小，若所述索引容量达到需求值，则在堆外内存索引中打开输出流以写入索引数据；

当Lucene处于搜索状态时，判断堆外内存索引中是否存在当前需要读取的索引数据，若存在，则在堆外内存索引中打开输入流以读取索引数据。

优选地，所述堆外缓存索引预热具体为：在文件系统索引中打开输入流，判断堆外内存索引容量大小，若堆外内存索引中的容量达到需求值，则将文件系统索引中的索引数据写入到堆外内存索引中。

优选地，所述则在堆外内存索引中打开输出流以写入索引数据的步骤之后还包括步骤：在提交数据时，将索引数据同步到文件系统索引中。

本发明进一步公开了一种基于堆外内存的缓存索引的系统，该缓存索引的系统包括：

Lucene启动模块，用于当Lucene处于启动状态时，在堆外内存中为索引数据分配指定大小的内存并放入内存池后，对堆外缓存索引预热；

Lucene索引模块，用于当Lucene处于索引状态时，判断堆外内存索引容量大小，若所述索引容量达到需求值，则在堆外内存索引中打开输出流以写入索引数据；

Lucene搜索模块，用于当Lucene处于搜索状态时，判断堆外内存索引中是否存在当前需要读取的索引数据，若存在，则在堆外内存索引中打开输入流以读取索引数据。

优选地，在Lucene启动模块中，所述对堆外缓存索引预热具体为：在文件系统索引中打开输入流，判断堆外内存索引容量大小，若堆外内存索引中的容量达到需求值，则将文件系统索引中的索引数据写入到堆外内存索引中。

优选地，所述Lucene索引模块，用于当Lucene处于索引状态时，判断堆外内存索引容量大小，若所述索引容量达到需求值，则在堆外内存索引中打开输出流以写入索引数据，在提交数据时，将索引数据同步到文件系统索引中。