[发明专利]分布式网络爬虫任务调度的方法及系统

权利要求书

1.一种分布式网络爬虫任务调度的方法，其特征在于，包括：

对分布式网络爬虫集群进行配置的步骤；

第一爬虫分析第一层链接对应的网页，提取网页中存在的第二层链接的步骤；

根据Hash一致性算法分配与所述第二层链接对应的爬取任务的步骤；

如果所述第二层链接是分配给第一爬虫之外的爬虫，则将所述第二层链接对应的爬取任务记录到相应序号的爬虫对应的爬取任务文件中的步骤；

每隔预定的时间间隔将所述第一爬虫之外的爬虫对应的爬取任务文件打包上传到共享目录中的步骤；以及

每个爬虫定时到所述共享目录中提取并执行对应的爬取任务的步骤。

2.如权利要求1所述的分布式网络爬虫任务调度的方法，其特征在于： 

如果所述第二层链接是分配给所述第一爬虫，则将所述第二层链接对应的爬取任务分配给所述第一爬虫执行。

3.如权利要求1或2所述的分布式网络爬虫任务调度的方法，其特征在于： 

第一层链接是第一爬虫的爬取任务对应的链接，第二层链接是第一层链接对应的网页中存在的其他链接。

4.如权利要求1或2所述的分布式网络爬虫任务调度的方法，其特征在于： 

所述共享目录是存储于中心服务器中，所述每个爬虫具有一个单独的爬虫服务器。

5.如权利要求1或2所述的分布式网络爬虫任务调度的方法，其特征在于： 

多个爬虫共用一台爬虫服务器。

6.如权利要求1所述的分布式网络爬虫任务调度的方法，其特征在于，所述对分布式网络爬虫集群进行配置的步骤进一步包括：

配置所述分布式网络爬虫集群的爬虫总数的步骤；

配置所述每个爬虫的序号的步骤；以及

根据爬虫配置文件对所述每个爬虫进行相同的任务配置的步骤。

7.一种分布式网络爬虫任务调度的系统，其特征在于，包括： 

中心服务器，对分布式网络爬虫集群进行配置，并根据Hash一致性算法对爬取任务进行分配；

第一网络爬虫，连接于所述中心服务器，分析第一层链接对应的网页，提取所述网页中存在的第二层链接，当所述中心服务器将所述第二层链接对应的爬取任务分配给第二网络爬虫时，将所述第二层链接对应的爬取任务记录到所述第二网络爬虫对应的爬取任务文件中，并于预定的时间间隔，将所述第二网络爬虫对应的爬取任务文件上传到共享目录中；以及

第二网络爬虫，连接于所述中心服务器， 根据所述共享目录中与所述第二网络爬虫对应的爬取任务文件执行爬取任务。

8.如权利要求7所述的分布式网络爬虫任务调度的方法，其特征在于：

于所述中心服务器将所述第二层链接对应的爬取任务分配给所述第一网络爬虫时，所述第一网络爬虫进一步执行所述第二层链接对应的爬取任务。

9.如权利要求7或8所述的分布式网络爬虫任务调度的方法，其特征在于，还包括：

第三网络爬虫，连接于所述中心服务器，当所述中心服务器将所述第二层链接对应的爬取任务分配给第三网络爬虫时，根据所述共享目录中与所述第三网络爬虫对应的爬取任务文件执行爬取任务。

10.如权利要求7或8所述的分布式网络爬虫任务调度的方法，其特征在于，所述中心服务器还包括：

任务交换数据库，用于存储所述共享目录、所述第一网络爬虫以及所述第二网络爬虫的爬取任务文件。