[发明专利]分布式爬虫系统中任务管理器的选举方法及系统

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种分布式爬虫系统中任务管理器的选举方法及系统。

背景技术

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

网络爬虫实际是一种网络信息抓取的应用程序，现有的网络爬虫抓取数据量大，任务的分配的任务管理器为随机分配的，其可能影响任务分配的效率，影响爬虫的效率。

发明内容

本申请提供一种分布式爬虫系统中任务管理器的选举方法。其解决现有技术的技术方案效率低的缺点。

一方面，提供一种分布式爬虫任务分配方法，所述方法包括如下步骤：

分布式设备接收或发起选举消息，所述选举消息用于从分布式爬虫系统中选举出任务管理器；分布式设备将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备；分布式设备接收其他设备发送的投票消息，该投票消息包括：票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器；如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。

可选的，所述方法还包括：

将票数第二多的分布式设备确定为备用任务管理器，降低备用任务管理器的任务处理阈值。

可选的，所述方法还包括：

如任务管理器故障，启动备用任务管理器作为分布式系统的任务管理器。

第二方面，提供一种分布式爬虫任务分配系统，所述系统包括：多个分布式设备；

分布式设备，用于接收或发起选举消息，所述选举消息用于从分布式爬虫系统中选举出任务管理器；将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备；接收其他设备发送的投票消息，该投票消息包括：票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器；

如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。

可选的，所述分布式设备，还用于将票数第二多的分布式设备确定为备用任务管理器，降低备用任务管理器的任务处理阈值。

可选的，所述分布式设备，还用于如任务管理器故障，启动备用任务管理器作为分布式系统的任务管理器。

第三方面，提供一种分布式设备，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，

所述无线收发器，用于接收或发起选举消息，所述选举消息用于从分布式爬虫系统中选举出任务管理器；

所述处理器，用于将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备；接收其他设备发送的投票消息，该投票消息包括：票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器；如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。

可选的，所述处理器，用于将票数第二多的分布式设备确定为备用任务管理器，降低备用任务管理器的任务处理阈值。

可选的，所述处理器，用于如任务管理器故障，启动备用任务管理器作为分布式系统的任务管理器。

第四方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面提供的方法。

本发明提供的技术方案通过选举的方法从多个分布式设备中选举出参数最优的设备作为做任务管理器，在成为任务管理器的时候不处理爬虫任务，将本地处理的爬虫任务分配给其他的分布式设备，这样实现对爬虫任务的快速分配，提高效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一较佳实施方式提供的一种分布式爬虫系统中任务管理器的选举方法的流程图；

图2为本发明第二较佳实施方式提供的一种分布式爬虫系统中任务管理器的选举系统的结构图。

图3为本发明第二较佳实施方式提供的一种分布式设备的硬件结构图。

具体实施方式