[发明专利]分布式爬虫系统中任务管理器的选举方法及系统

权利要求书

1.一种分布式爬虫系统中任务管理器的选举方法，其特征在于，所述方法包括如下步骤：

分布式设备接收或发起选举消息，所述选举消息用于从分布式爬虫系统中选举出任务管理器；

分布式设备将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备；

分布式设备接收其他设备发送的投票消息，该投票消息包括：票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器；

如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将票数第二多的分布式设备确定为备用任务管理器，降低备用任务管理器的任务处理阈值。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如任务管理器故障，启动备用任务管理器作为分布式系统的任务管理器。

4.一种分布式爬虫任务分配系统，其特征在于，所述系统包括：多个分布式设备；

分布式设备，用于接收或发起选举消息，所述选举消息用于从分布式爬虫系统中选举出任务管理器；将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备；接收其他设备发送的投票消息，该投票消息包括：票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器；

如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。

5.根据权利要求4所述的系统，其特征在于，

所述分布式设备，还用于将票数第二多的分布式设备确定为备用任务管理器，降低备用任务管理器的任务处理阈值。

6.根据权利要求4所述的方法，其特征在于，

所述分布式设备，还用于如任务管理器故障，启动备用任务管理器作为分布式系统的任务管理器。

7.一种分布式设备，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，其特征在于，

所述无线收发器，用于接收或发起选举消息，所述选举消息用于从分布式爬虫系统中选举出任务管理器；

所述处理器，用于将设备参数通过广播消息广播至分布式爬虫系统中的其他设备，接收其他设备发送的广播消息，从广播消息中提取设备参数最优的第一分布式设备；接收其他设备发送的投票消息，该投票消息包括：票数以及投票的分布式设备，将票数最多的分布式设备确定为任务管理器；如分布式设备为任务管理器，将本地处理的爬虫任务分配给其他分布式设备。

8.根据权利要求7所述的服务器，其特征在于，所述处理器，用于将票数第二多的分布式设备确定为备用任务管理器，降低备用任务管理器的任务处理阈值。

9.根据权利要求7所述的服务器，其特征在于，所述处理器，用于如任务管理器故障，启动备用任务管理器作为分布式系统的任务管理器。

10.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-3任一项所述的方法。