[发明专利]一种面向海量数据源的网络爬虫动态带宽分配方法及系统有效
| 申请号： | 201610536834.3 | 申请日： | 2016-07-08 |
| 公开（公告）号： | CN106209685B | 公开（公告）日： | 2019-11-19 |
| 发明（设计）人： | 金俏;杨绪升;杜鲁;朱卫平;李述;乔瑞凯;朱文鹏;范昊深 | 申请（专利权）人： | 武汉烽火普天信息技术有限公司 |
| 主分类号： | H04L12/911 | 分类号： | H04L12/911;H04L12/919;G06F16/951 |
| 代理公司： | 11228 北京汇泽知识产权代理有限公司 | 代理人： | 程殿军;张瑾<国际申请>=<国际公布>= |
| 地址： | 430074 湖北省武*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种面向海量数据源的网络爬虫动态带宽分配方法及系统，所述方法包括以下步骤：S1、通过若干爬虫程序带宽占比进行第一次分配；S2、每隔一段时间通过各爬虫程序对带宽进行重新预测和分配；S3、若某个爬虫程序停止后释放其所占用资源，并通过爬虫程序重新进行带宽分配；S4、当所有爬虫程序均停止，则分配结束。本发明实现了在request级别上对带宽的细粒度动态分配，保障信息的及时获取，降低爬取信息的总时间；实现了最短总爬取时间和最短最长爬取时间两种分配算法，支持多种数据爬取情况。 | ||
| 搜索关键词： | 一种 面向 海量 数据源 网络 爬虫 动态 带宽 分配 方法 系统 | ||
【主权项】：
1.一种面向海量数据源的网络爬虫动态带宽分配方法，其特征在于，包括以下步骤：/nS1、通过爬虫系统对各个爬虫程序的带宽占比进行首次分配；/nS2、每隔一段时间对各爬虫程序所占用的带宽进行重新预测和分配；/nS3、若某个爬虫程序停止后释放其所占用资源，并对剩余的各个爬虫程序重新进行带宽分配；/nS4、当所有爬虫程序均停止，则分配结束；/n其中，所述步骤S1和步骤S2中通过带宽分配算法对带宽进行分配，具体为通过获取对当前所有正在运行的爬虫程序所爬取网站信息数量的预测值之后，根据各自在总信息数量中的占比，根据不同的目标函数，按照不同的分配算法得到对各个爬虫应当分配的带宽占比，并实际加以限制，实现对各个爬虫的实际下载带宽进行限制，所述带宽限制条件为：/n∑Vi≤U/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于武汉烽火普天信息技术有限公司，未经武汉烽火普天信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610536834.3/，转载请声明来源钻瓜专利网。
