[发明专利]一种基于网页爬取的爬虫技术在审
| 申请号： | 201310040090.2 | 申请日： | 2013-02-01 |
| 公开（公告）号： | CN103970788A | 公开（公告）日： | 2014-08-06 |
| 发明（设计）人： | 尹科 | 申请（专利权）人： | 北京英富森信息技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100190 北京市海淀区中关*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及技术领域，具体涉及一种基于网页爬取的爬虫技术，初始化URL链接地址后，包括：1)均衡分配爬虫线程从给定的入口起在运行队列读取排列在队首的URL链接地址；2)判断所述URL链接地址是否存在，是则停止爬取，否则，爬取所述URL链接地址放入完成队列；3)对放入所述完成队列的所述URL链接地址对应的网页进行提取；4)对所述提取的网页中的URL链接地址过滤，留取有效URL链接地址写入运行队列，返回步骤1)重复以上步骤。本发明基于用户设定的对象，根据用户创建的任务，从互联网爬取对应的资源、重写URL并进行存储，实现有针对性的对互联网信息进行采集；同时，能够实现多机并行爬取、多任务调度、断点续抓、分布式爬虫管理以及爬虫控制。 | ||
| 搜索关键词： | 一种 基于 网页 爬虫 技术 | ||
【主权项】：
一种基于网页爬取的爬虫技术，其特征在于，初始化URL链接地址后，包括以下步骤：1)均衡分配爬虫线程从给定的入口起在运行队列读取排列在队首的URL链接地址；2)判断所述URL链接地址是否存在，是则停止爬取，否则，爬取所述URL链接地址放入完成队列；3)对放入所述完成队列的所述URL链接地址对应的网页进行提取；4)对所述提取的网页中的URL链接地址过滤，留取有效URL链接地址写入运行队列，返回步骤1)重复以上步骤。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京英富森信息技术有限公司，未经北京英富森信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310040090.2/，转载请声明来源钻瓜专利网。
- 上一篇：聚酯废水中回收乙醛和乙二醇的系统
- 下一篇：电容式触摸屏触点定位方法和终端
