[发明专利]分布式网络爬虫抓取任务调度方法、调度端设备及抓取节点有效
| 申请号： | 201310491887.4 | 申请日： | 2013-10-18 |
| 公开（公告）号： | CN103559219A | 公开（公告）日： | 2014-02-05 |
| 发明（设计）人： | 周东 | 申请（专利权）人： | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06F9/48 |
| 代理公司： | 北京邦信阳专利商标代理有限公司 11012 | 代理人： | 王昭林;金玺 |
| 地址： | 100080 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开分布式网络爬虫抓取任务调度方法、调度端设备及抓取节点，调度方法包括：抓取任务发送步骤，为多个抓取网络信息的抓取节点生成至少一个包括至少一个种子的抓取任务，向每个抓取节点发送对应的抓取任务；抓取任务修正步骤，接收到多个抓取节点发送的快照数据，根据多个所述抓取节点的快照数据确定发送到每个抓取节点的抓取任务数量，以及每个抓取任务所包括的每个目标网站的种子的数量，执行抓取任务发送步骤。本发明由于快照数据描述了抓取节点对抓取任务的执行情况，因此调度端能够清楚知道每个抓取节点的抓取任务的执行情况，从而能够选择一个最优的分配方案。从而大大提供抓取节点的资源利用率。 | ||
| 搜索关键词： | 分布式 网络 爬虫 抓取 任务 调度 方法 设备 节点 | ||
【主权项】：
一种分布式网络爬虫抓取任务调度方法，其特征在于，包括：抓取任务发送步骤，为多个抓取网络信息的抓取节点生成至少一个包括至少一个种子的抓取任务，向每个抓取节点发送对应的抓取任务，所述种子为目标网站的网络地址，所述抓取任务用于所述抓取节点的线程从所述抓取任务所包括的每个种子下载并解析出抓取内容；抓取任务修正步骤，接收到多个抓取节点发送的快照数据，根据多个所述抓取节点的快照数据确定发送到每个抓取节点的抓取任务数量，以及每个抓取任务所包括的每个目标网站的种子的数量，执行抓取任务发送步骤，每个所述快照数据由所述抓取节点每隔预设时间生成，且所述快照数据描述所述抓取节点对所述抓取任务的执行情况。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司，未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310491887.4/，转载请声明来源钻瓜专利网。
