[发明专利]分布式网络爬虫任务调度的方法及系统无效
| 申请号： | 201310504193.X | 申请日： | 2013-10-24 |
| 公开（公告）号： | CN103514301A | 公开（公告）日： | 2014-01-15 |
| 发明（设计）人： | 何学敏 | 申请（专利权）人： | 深圳市同洲电子股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 518057 广东省深*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明互联网搜索引擎技术领域，提供了一种分布式网络爬虫任务调度的方法及其系统，其中，方法包括：对分布式网络爬虫集群进行配置；第一爬虫分析第一层链接对应的网页，提取网页中存在的第二层链接；根据Hash一致性算法分配与第二层链接对应的爬取任务；如果第二层链接是分配给第一爬虫之外的爬虫，则将第二层链接对应的爬取任务记录到相应序号的爬虫对应的爬取任务文件中；每隔预定的时间间隔将爬取任务文件打包上传到共享目录中；每个爬虫定时到共享目录中提取并执行对应的爬取任务。本发明提供的分布式网络爬虫任务调度的方法及其系统，通过共享任务目录来实现分布式爬虫任务的协同任务调度，能把任务均匀分布到各个爬虫。 | ||
| 搜索关键词： | 分布式 网络 爬虫 任务 调度 方法 系统 | ||
【主权项】：
一种分布式网络爬虫任务调度的方法，其特征在于，包括：对分布式网络爬虫集群进行配置的步骤；第一爬虫分析第一层链接对应的网页，提取网页中存在的第二层链接的步骤；根据Hash一致性算法分配与所述第二层链接对应的爬取任务的步骤；如果所述第二层链接是分配给第一爬虫之外的爬虫，则将所述第二层链接对应的爬取任务记录到相应序号的爬虫对应的爬取任务文件中的步骤；每隔预定的时间间隔将所述第一爬虫之外的爬虫对应的爬取任务文件打包上传到共享目录中的步骤；以及每个爬虫定时到所述共享目录中提取并执行对应的爬取任务的步骤。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳市同洲电子股份有限公司，未经深圳市同洲电子股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310504193.X/，转载请声明来源钻瓜专利网。
