[发明专利]用于海量数据处理的实时数据计算方法

说明书

本发明提供了一种用于海量数据处理的实时数据计算方法，该方法包括：在搜索过程中，搜索引擎解析用户输入的多维搜索请求，获取与多维搜索请求对应的分词过滤项；根据分词过滤项，搜索预先建立的索引结构，获取与分词过滤项对应的命中页面。本发明提出了一种用于海量数据处理的实时数据计算方法，优化了数据搜索引擎技术，在保证搜索引擎对多维数据高性能搜索的同时，降低了数据的更新代价，高效实现了多维搜索。

技术领域

本发明涉及大数据搜索，特别涉及一种用于海量数据处理的实时数据计算方法。

背景技术

大数据正在发生着巨大的变化，客户数据、交易数据、社交媒体数据和网络行为等数据，都蕴含着巨大的高价值商业信息，它们决定着企业的未来和发展。基于大数据的实时搜索的要求也变得越来越高了，而当前开源的大数据环境下的实时搜索引擎由于其性能、稳定性和经验积累等原因还存在一定的使用风险，而且在多维数据高性能搜索的同时，时间和空间代价过高。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种用于海量数据处理的实时数据计算方法，包括：

在搜索过程中，搜索引擎解析用户输入的多维搜索请求，获取与多维搜索请求对应的分词过滤项；

根据分词过滤项，搜索预先建立的索引结构，获取与分词过滤项对应的命中页面。

优选地，所述分词过滤项包括首级分词过滤项，和/或次级分词过滤项。

优选地，所述搜索引擎基于MapReduce框架。

优选地，所述根据分词过滤项，搜索预先建立的索引结构，获取与分词过滤项对应的命中页面，进一步包括：

首先根据首级分词过滤项，确定对应的主页面ID集合；之后根据次级分词过滤项，确定对应的映射文档集，在该映射文档集中以主页面ID为Key，以与主页面ID对应的次级页面ID集合为对应的Value；

在获取主页面ID集合以及映射文档集之后，通过将主页面ID集合与映射文档集中的Key取交集，可以确定最终满足条件的命中主页面ID集合，之后根据映射文档集中与命中主页面ID集合对应的Value，确定与命中主页面ID对应的命中次级页面ID集合。

优选地，按照预定义排序规则对与命中主页面ID集合对应的命中主页面进行排序，并将排序结果结合与命中次级页面ID集合对应的命中次级页面进行显示。

本发明相比现有技术，具有以下优点：

本发明提出了一种用于海量数据处理的实时数据计算方法，优化了数据搜索引擎技术，在保证搜索引擎对多维数据高性能搜索的同时，降低了数据的更新代价，高效实现了多维搜索。

附图说明

图1是根据本发明实施例的用于海量数据处理的实时数据计算方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种用于海量数据处理的实时数据计算方法。图1是根据本发明实施例的用于海量数据处理的实时数据计算方法流程图。本发明适用于建立进行多维搜索的索引结构的情况，具体包括：

将爬虫模块爬取得到的主页面数据以及次级页面数据分别存储于不同的Hadoop存储节点中。可选的，为了提高搜索性能，可将属于同一主页面的至少一个次级页面连续存储于Hadoop存储节点中连续的物理区块。