[发明专利]网络爬虫抓取任务分配方法与装置及数据抓取方法与装置有效
| 申请号： | 201510227531.9 | 申请日： | 2015-05-06 |
| 公开（公告）号： | CN106202108B | 公开（公告）日： | 2019-09-06 |
| 发明（设计）人： | 刘庆;张美德;殷贤君;邹启蒙 | 申请（专利权）人： | 阿里巴巴集团控股有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/953;G06F16/9535 |
| 代理公司： | 北京弘权知识产权代理事务所(普通合伙) 11363 | 代理人： | 逯长明;许伟群 |
| 地址： | 开曼群岛*** | 国省代码： | 开曼群岛;KY |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例公开了一种网络爬虫抓取任务分配方法与装置及数据抓取方法与装置。所述网络爬虫数据抓取方法，保存抓取过的历史页面保存于历史抓取数据，当有抓取任务时，判断历史抓取数据中是否存在与抓取任务的URL簇对应的历史页面，如果存在且存在的历史页面可用，则对可用的历史页面直接提取第一目标页面数据，而不需对这部分历史页面重复抓取，节省系统资源。同时，先定时检测所有网络爬虫的网络带宽使用率，计算各个网络爬虫的网络带宽使用率均值E(w)和方差D(w)并存储，然后根据E(w)和D(w)计算各个网络爬虫的可用性，对可用的网络爬虫，按可用性概率由大到小的顺序选择执行任务的网络爬虫，从而合理分配网络爬虫资源。 | ||
| 搜索关键词： | 网络 爬虫 抓取 任务 分配 方法 装置 数据 | ||
【主权项】：
1.一种网络爬虫抓取任务分配方法，其特征在于，包括：定时检测网络爬虫的网络带宽使用率，计算各个网络爬虫的网络带宽使用率均值E(w)和方差D(w)并存储，其中，w为网络带宽使用率；当接收到抓取任务时，根据所述网络带宽使用率均值E(w)和方差D(w)计算各个网络爬虫的可用性；根据所述可用性确定执行任务的网络爬虫。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司，未经阿里巴巴集团控股有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510227531.9/，转载请声明来源钻瓜专利网。
- 上一篇：一种智能测绘系统
- 下一篇：一种高效数据分析推荐方法和系统
