[发明专利]一种分布式检索方法及装置

说明书

技术领域

本发明涉及计算机技术领域，具体涉及一种分布式检索方法及装置。

背景技术

随着传统互联网和移动互联网的持续发展，网络带给我们的是不断增长的各种不同价值信息，然而如何在信息海洋中快速检索到有价值信息，对于我们来讲至关重要。

随着企业和政府信息化建设的持续推进，相关系统平台会产生海量的日志数据，而这些日志数据的整合分析对于企业和政府相关单位具有非常重要的价值，既有关系型数据库能够存储如此海量的大数据，然而对于分析如此海量的大数据进而提供准确的信息查询服务则速度往往不能令人满意，检索时间长，命中率过低，效率低下等一系列问题暴露出来，所以对于新技术的需求就应运而生。

现有技术一般采用两种方式：横向扩展或者纵向扩展。纵向扩展是升级服务器的硬件资源。但是随着机器的性能配置越高，价格越高，这个代价对于一般的小公司是承担不起的。横向扩展是采用多个廉价的机器提供服务。这样一个机器只能处理200个数据、3个机器就可以处理600个数据了，如果以后业务量增加还可以快速配置增加，但横向扩展同时对数据管理和服务器管理提出了要求，需要同时维护多个服务器，且需要对数据进行有效管理。

发明内容

为了提高检索效率，当前采用服务器纵向扩展时对服务器的性能配置要求很高，且服务器价格过高，而采用横向扩展时需要同时维护 多个服务器，且需要对数据进行有效管理的问题，本发明提出一种分布式检索方法及装置。

第一方面，本发明提出一种分布式检索方法，包括：

根据数据主题对原始数据进行分类，每类原始数据存储在若干个存储模块中；

根据第一预设规则对存储模块进行分布式存储；

根据预设关键字对每个存储模块进行检索，得到每个存储模块对应的检索结果，并将所有存储模块对应的检索结果合并为最终检索结果。

优选地，所述根据预设关键字对每个存储模块进行检索，进一步包括：

预设检索节点数，将所有存储模块按照第二预设规则分配给检索节点；

每个检索节点根据预设关键字对分配给当前检索节点的存储模块进行检索。

优选地，所述预设检索节点数之后，还包括：

增加检索节点。

优选地，所述原始数据包括关系型数据和文件数据。

优选地，所述关系型数据和所述文件数据存储在不同的存储模块中。

第二方面，本发明还提出一种分布式检索装置，包括：

数据分类模块，用于根据数据主题对原始数据进行分类，每类原始数据存储在若干个存储模块中；

分布式存储模块，用于根据第一预设规则对存储模块进行分布式存储；

检索模块，用于根据预设关键字对每个存储模块进行检索，得到每个存储模块对应的检索结果，并将所有存储模块对应的检索结果合并为最终检索结果。

优选地，所述检索模块还用于预设检索节点数，将所有存储模块按照第二预设规则分配给检索节点，以使每个检索节点根据预设关键字对分配给当前检索节点的存储模块进行检索。

优选地，所述检索模块还用于增加检索节点。

优选地，所述数据分类模块中的原始数据包括关系型数据和文件数据。

优选地，所述数据分类模块中关系型数据和所述文件数据存储在不同的存储模块中。

由上述技术方案可知，本发明通过对原始数据分类，并进行分布式存储和检索，检索时间短，命中率高，无需通过纵向扩展和横向扩展来提高检索效率，大大节省了软硬件资源消耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种分布式检索方法的流程示意图；

图2为本发明一实施例提供的一种分布式检索方法的数据流示意图；

图3为本发明一实施例提供的一种分布式检索装置的结构示意图。

具体实施方式

下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本发明一实施例提供的一种分布式检索方法的流程示意图，包括：

S101、根据数据主题对原始数据进行分类，每类原始数据存储在若干个存储模块中；