[发明专利]实时索引建立、实时搜索方法及装置

说明书

技术领域

本申请涉及信息搜索技术领域，尤其涉及一种实时索引建立、实时搜索方法及装置。

背景技术

实时搜索简而言之就是对信息进行即时、快速搜索，实现即搜即得的目的。实时搜索使得网络环境将越来越变得实时化、便捷化、简单化。通过实时搜索服务，用户可以快速得到最新的信息，可快速查找和了解关注的事件。随着网络的发展，实时搜索变得越来越重要。在利用传统搜索引擎进行搜索时，由于存在延迟较长的问题，不能很好地满足实时搜索的要求。

目前实时搜索的搜索引擎主要有以下两种方式：

1、采用c/c++语言实现实时搜索：这种实现方式的特点是利用c/c++语言特性，直接操作内存，运行效率高，但是，由于c/c++开发效率较低，可移植性较差，而且对于设备的资源需求量高，开销较大；

2、Lucene/solr准实时搜索(NRT，Near Real-time Search)：Lucene提供一个统一的应用程序编程接口(API，Application Programming Interface)调用getReader方法，根据应用特点不同，做到准实时搜索，采用这种实现方式能够满足对实时性要求不是十分精确的搜索应用需求，实时性能较差。

由上述描述可知，如何提高传统搜索引擎实时搜索的精确性，并降低系统资源的开销成为现有技术中亟待解决的技术问题之一。

发明内容

本申请实施例提供一种实时索引建立、实时搜索方法及装置，用以提高传统搜索引擎实时搜索的精确性，并降低系统资源的开销。

一种实时索引建立方法，包括：

获取源数据；

在建立索引的开始时间点到达时，为所述源数据中、开始时间点之前的数据建立全量索引，将所述全量索引存储在磁盘存储器中；并

为所述源数据中、开始时间点之后的数据建立内存索引，将所述内存索引存储在内存中。

基于上述实时索引建立方法实现的实时搜索方法，包括：

接收搜索请求，所述搜索请求中携带有搜索条件；以及

从所述全量索引和内存索引中，分别查找满足所述搜索条件的记录；

将全量索引和内存索引中满足所述搜索条件的记录合并后返回。

较佳地，上述实时索引建立方法，还包括：

当所述内存索引的大小超过预设阈值时，将所述内存索引拷贝至磁盘存储器中，建立从索引，并删除所述内存中的内存索引；并

记录建立从索引的时间点；以及

为所述源数据中、建立从索引的时间点之后的数据重新建立内存索引。

一种基于上述实时索引建立方法实现的实时搜索方法，包括：

接收搜索请求，所述搜索请求中携带有搜索条件；以及

从所述全量索引、内存索引和从索引中，分别查找满足所述搜索条件的记录；

将全量索引、内存索引和从索引中满足所述搜索条件的记录合并后返回。

一种实时索引建立装置，包括：

获取单元，用于获取源数据；

全量索引建立单元，用于在建立索引的开始时间到达时，为所述源数据中、开始时间点之前的数据建立全量索引，将所述全量索引存储在磁盘存储器中；

内存索引建立单元，用于为所述源数据中、开始时间点之后的数据建立内存索引，将所述内存索引存储在内存中。

一种基于上述实时索引建立装置实现的实时搜索装置，包括：

接收到单元，用于接收搜索请求，所述搜索请求中携带有搜索条件；

查找单元，用于从所述全量索引和内存索引中，分别查找满足所述搜索条件的记录；

返回单元，用于将全量索引和内存索引中满足所述搜索条件的记录合并后返回。

较佳地，上述实时索引建立装置，还包括从索引建立单元和记录单元，其中：

从索引建立单元，用于当所述内存索引的大小超过预设阈值时，将所述内存索引拷贝至磁盘存储器中，建立从索引，并删除所述内存中的内存索引；

记录单元，用于记录建立从索引的时间点；以及

所述内存索引建立单元，还用于为所述源数据中、建立从索引的时间点之后的数据重新建立内存索引。

一种基于上述实时索引建立装置实现的实施搜索装置，包括：

接收单元，用于接收搜索请求，所述搜索请求中携带有搜索条件；

查找单元，用于从权利要求10所述的实时索引建立装置的所述全量索引、内存索引和从索引中，分别查找满足所述搜索条件的记录；