[发明专利]构建列存储索引的方法、装置及系统

说明书

技术领域

本发明涉及计算机数据处理领域，具体而言，涉及一种构建列存储索引的方法、装置及系统。

背景技术

目前，现有技术所提供的搜索引擎中的数据更新都是行式更新索引，行式更新索引用于表示文档的一个字段索引的更新，需要对整个文档进行更新，而不能只对某一字段进行更新。在使用行式更新索引的过程中，需要解析整个文档，因此，更新索引的过程中需要较长的更新周期，而且更新索引的时候，磁盘IO，cpu带宽将成为系统的瓶颈。

在使用行式更新功能完成系统中日常的全文索引更新功能的过程中，通常包括一部分字段效短，但是更新频率较高，更新量较大的数据，可以称之为动态数据（Dynamic Data），该动态数据是动态易变数据，需要频繁变更的字段，比如点击数字段。下面就以广告系统、旅游信息搜索、论坛、度假产品等场景下为例进行详细说明：

在按点击付费的广告系统中，需要保存每个广告文档的点击数，用于进行实时的CTR计算，在该过程中的点击字段就是动态数据（Dynamic Data）。需要理解的是，CTR（Click-Through-Rate）是指网络广告（图片广告/文字广告/关键词广告/排名广告/视频广告等）的点击到达率，即该广告的点击量（严格的来说，可以是到达目标页面的数量）除以广告的浏览量（PV-Page View）。

在旅游信息搜索系统的应用中，所有提供用户检索的信息都抓取自互联网，其中部分数据可能涉及反动，涉黄的文章，当上述文章被发现时，需要及时更新；或者文章是一篇软文，需要一个标志位来标识信息是否合规，此时，用于标识文章的标识字段就是动态数据（Dynamic Data）。

在论坛中，在采用关键词来搜索帖子的过程中，系统通常情况下会按照帖子的点击数，或者帖子的最后访问时间进行排序，而点击数，最后访问时间更新非常频繁。

在度假产品中，每个度假产品都会有很多标记tag，代理商可以更新产品的标记tag，来影响用户搜索结果中对应产品的排名，而标记tag的更新也非常频繁。而且，在度假产品中，代理商经常会调整商品的价格，价格的高低直接影响到用户购买欲，所以要求价格也尽可能的实时更新。

对于上述应用场景中，对于更新频繁且即时生效的动态数据（Dynamic Data），由于这类数据的更新效率比较一般的字段数据较高，从而使得在索引更新过程中，动态数据索引的更新速度远远快于普通的文本类全文索引。

由于目前普通的文本类全文索引的更新是通过行式更新的方式，整个更新过程需要更新整个文档，特别对于文档中有一个超长字段，诸如度假产品中，度假产品的详细描述字段，这时候归档定位装置Indexer的开销将非常大。

目前针对相关技术的由于动态数据更新频率高，导致全文索引的更新过程更新周期长且系统资源耗费较大的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术的由于动态数据更新频率高，导致全文索引的更新过程更新周期长且系统资源耗费较大的问题，目前尚未提出有效的解决方案，为此，本发明的主要目的在于提供一种构建列存储索引的方法、装置及系统，以解决上述问题。

为了实现上述目的，根据本发明的一个方面，提供了一种构建列存储索引的方法，该方法包括：获取即时生效文档，即时生效文档包括：标识数据和标识数据关联的动态数据；在内存中根据即时生效文档创建列存储式索引结构的文档，生成柱状索引文件，柱状索引文件包括标识列和数据存储列，其中，标识列用于保存标识数据，数据存储列用于保存标识数据关联的动态数据；在内存中保存柱状索引文件。

为了实现上述目的，根据本发明的一个方面，提供了一种构建列存储索引的系统，该系统包括：归档定位装置，用于生成即时生效文档；查询器，保存在内存中，与即时生效文档建立通讯，用于获取即时生效文档，在内存中根据即时生效文档创建列存储式索引结构的文档，生成柱状索引文件，并在内存中保存柱状索引文件，其中，柱状索引文件包括标识列和数据存储列，即时生效文档包括：标识数据和标识数据关联的动态数据，标识列用于保存标识数据，数据存储列用于保存标识数据关联的动态数据。

为了实现上述目的，根据本发明的另一方面，提供了一种构建列存储索引的装置，该装置包括：获取模块，用于获取即时生效文档，即时生效文档包括：标识数据和标识数据关联的动态数据；创建模块，用于在内存中根据即时生效文档创建列存储式索引结构的文档，生成柱状索引文件，柱状索引文件包括标识列和数据存储列，其中，标识列用于保存标识数据，数据存储列用于保存标识数据关联的动态数据；保存模块，用于在内存中保存柱状索引文件。