[发明专利]分布式爬虫实现方法及系统

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种分布式爬虫实现方法及系统。

背景技术

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

网络爬虫实际是一种网络信息抓取的应用程序，现有的网络爬虫抓取数据量大，导致数据搜索效率低。

发明内容

本申请提供一种分布式爬虫实现方法。其解决现有技术的技术方案效率低的缺点。

一方面，提供一种分布式爬虫实现方法，所述方法包括如下步骤：分布式爬虫实现方法，所述方法包括如下步骤：

服务器获取搜索的信息以及搜索的范围；

服务器依据该搜索的范围将该搜索任务分配成多个搜索子任务；

服务器将多个搜索子任务分配给分布式系统内的设备。

可选的，所述方法还包括：

服务器依据负载均衡的原则分配该多个搜索子任务。

可选的，所述方法还包括：

服务器按分布式系统内的设备的位置分配多个搜索子任务。

第二方面，提供一种分布式爬虫实现系统，所述系统包括：

获取单元，用于获取搜索的信息以及搜索的范围；

处理单元，用于依据该搜索的范围将该搜索任务分配成多个搜索子任务；将多个搜索子任务分配给分布式系统内的设备。

可选的，所述系统还包括：

处理单元，用于服务器依据负载均衡的原则分配该多个搜索子任务。

可选的，所述系统还包括：

处理单元，用于按分布式系统内的设备的位置分配多个搜索子任务。

第三方面，提供一种服务器，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，所述无线收发器，用于获取搜索的信息以及搜索的范围；

所述处理器，用于依据该搜索的范围将该搜索任务分配成多个搜索子任务；将多个搜索子任务分配给分布式系统内的设备。

可选的，所述处理器，用于服务器依据负载均衡的原则分配该多个搜索子任务。

可选的，所述处理器，用于按分布式系统内的设备的位置分配多个搜索子任务。

本发明提供的技术方案通过将搜索任务分解成多个搜索子任务，然后分布给分布式系统的多个设备来执行，从而提高了效率的优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一较佳实施方式提供的一种分布式爬虫实现方法的流程图；

图2为本发明第二较佳实施方式提供的一种分布式爬虫实现系统的结构图。

图3为本发明第二较佳实施方式提供的一种服务器的硬件结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1是本发明第一较佳实施方式提出的一种分布式爬虫实现方法，该方法如图1所示，包括如下步骤：

步骤S101、服务器获取搜索的信息以及搜索的范围。

步骤S102、服务器依据该搜索的范围将该搜索任务分配成多个搜索子任务。

步骤S103、服务器将多个搜索子任务分配给分布式系统内的设备。

本发明提供的技术方案通过将搜索任务分解成多个搜索子任务，然后分布给分布式系统的多个设备来执行，从而提高了效率的优点。

可选的，服务器依据负载均衡的原则分配该多个搜索子任务。

可选的，服务器按分布式系统内的设备的位置分配多个搜索子任务。

请参考图2，图2是本发明第二较佳实施方式提出的一种分布式爬虫实现系统，该系统如图2所示，包括：

获取单元201，用于获取搜索的信息以及搜索的范围；

处理单元202，用于依据该搜索的范围将该搜索任务分配成多个搜索子任务；将多个搜索子任务分配给分布式系统内的设备。