[发明专利]一种用于索引更新的处理方法和系统

说明书

技术领域

本发明涉及互联网中的信息搜索技术，尤其涉及一种用于索引更新的处理 方法和系统。

背景技术

随着互联网技术的发展，为了满足互联网用户对不同领域信息的获取需求， 信息搜索技术成为当前非常热门的互联网技术之一。互联网中的信息搜索服务 是由互联网中的各种搜索引擎提供的，搜索引擎的数据库中集中了大量的信息， 搜索引擎的功能是从数据库中搜索用户所需的信息。

对于搜索引擎中新入库的信息，通常需要进行切词、编码、顺排、倒排等 操作，生成索引和对应的数据，并根据生成的索引和数据对原来的索引进行重 建。对于数据量较小的信息，上述的切词、编码、顺排、倒排等操作可以在内 存中完成，且生成的索引和数据也可以存储在内存中；而对于数据量较大的信 息，则是由磁盘对生成的索引和数据进行存储。因此，现有技术中通常是采用 内存和磁盘相结合的构架进行信息存储的，搜索引擎所接收的新数据先由内存 进行加载，再定期将内存中加载的新数据发送给磁盘进行加载；当然，内存和 磁盘中的索引也需要随着新数据的加载进行更新重建。具体的处理流程如图1 所示，主要包括以下步骤：

步骤101，判断是否触发磁盘索引更新，如果是，则转到步骤102；否则， 转到步骤103。

磁盘索引更新的操作是由设定的磁盘更新周期来触发的，在每次磁盘更新 周期结束的时刻即为磁盘索引更新的时间点，搜索引擎开始触发进行磁盘索引 更新的操作。

步骤102，搜索引擎将内存所存储的在最近一个磁盘更新周期内接收到的 所有新数据发送给磁盘，由磁盘根据所接收的新数据进行磁盘索引的重建，并 进行新数据的加载，然后结束当前流程。其中，搜索引擎接收到的新数据中包 括：删除文档列表、新增文档列表和更新文档列表的至少一种。

步骤103，搜索引擎将接收的新数据提供给内存。

步骤104，内存根据接收的新数据进行内存索引的重建，并进行新数据的 加载。

在实际应用中，用户对诸如知识型搜索、新闻搜索和论坛搜索等等的搜索 结果的时效性要求较高，希望最新的信息能够尽可能的及时搜索到。这就要求 搜索引擎能够以尽可能快的更新速度完成新信息的索引更新重建和检索服务的 提供。虽然内存索引重建的速度比磁盘索引重建的速度更快，但是由于内存每 接收到新数据时就得进行索引重建，因此，内存索引重建的时间也会随着内存 中数据量的增大而线性增长；也就是说，在一个磁盘更新周期内，内存中的数 据更新速度会越来越慢。

由此可知，由于现有技术中搜索引擎会先将数据发送至内存，这样，内存 索引更新的速度必然会随着内存中的数据量的不断增大而变得越来越慢，从而 导致现有技术达不到用户对搜索结果的高时效性要求，给用户带来不便。

发明内容

有鉴于此，本发明的主要目的在于提供一种用于索引更新的处理方法和系 统，以解决现有技术中由于内存索引的更新速度慢而导致信息搜索时效性不高 的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种用于索引更新的处理系统，该系统包括：

数据接收子系统，用于接收新数据，所述新数据包括删除文档列表、新增 文档列表和更新文档列表的至少一种；

数据分发子系统，用于对所述新数据进行分发；

多级索引内存子系统，包括多级索引，且所述多级索引中的各级索引的数 据容量从上级到下级依次递增，数据由上级索引到下级索引逐级传递；

所述多级索引内存子系统包括：数据传递模块、索引重建模块和索引切换 模块，其中，

所述数据传递模块，用于通过第一级索引对来自所述数据分发子系统的新 数据进行接收，并将所述新数据由所述第一级索引逐级传递到其他各级索引；

所述索引重建模块，与数据传递模块相连，用于根据所述第一级索引接收 的新数据对所述第一级索引进行重建，并在所述新数据由所述第一级索引逐级 传递到其他各级索引时，根据所传递的新数据对所述其他各级索引依次进行重 建；所述各级索引由主索引和备索引构成，索引的重建是对所述主索引和备索 引中的其中一个索引进行重建；在索引重建完毕之后，将所述主索引和备索引 更新为重建后的索引；

所述索引切换模块，与所述索引重建模块相连，用于在所述各级索引的主 索引和备索引中的其中一个索引进行重建时，将服务切换到另一个索引。