[发明专利]一种网页爬虫抓取方法及装置有效
| 申请号： | 201310291520.8 | 申请日： | 2013-07-11 |
| 公开（公告）号： | CN103336834B | 公开（公告）日： | 2017-04-12 |
| 发明（设计）人： | 周东 | 申请（专利权）人： | 北京京东尚科信息技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京邦信阳专利商标代理有限公司11012 | 代理人： | 王昭林,金玺 |
| 地址： | 100080 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及互联网搜索领域，特别是一种网页爬虫抓取方法及装置。主要技术方案包括根据给定的搜索条件及生成种子数，生成至少一个满足搜索条件的网页地址，所述网页地址的生成数量与所述生成种子数相同;对所述网页地址进行数据抓取，得到抓取网页内容；根据抓取网页内容，确定满足预设统计条件的网页地址数量的统计结果；根据所述统计结果修改所述生成种子数。由于生成种子数确定了生成网页地址的数量，而对抓取网页内容进行统计后重新修改生成种子数，形成一种迭代方式。对于一个给定的搜索条件，其生成种子数能自动调节并适应该搜索条件。通过设定合适的统计条件，能最大程度地减少因处理不合适的数据所造成的资源浪费。 | ||
| 搜索关键词： | 一种 网页 爬虫 抓取 方法 装置 | ||
【主权项】：
一种网页爬虫抓取方法，其特征在于，包括：根据给定的搜索条件及生成种子数，生成至少一个满足搜索条件的网页地址，所述网页地址的生成数量与所述生成种子数相同；对所述网页地址进行数据抓取，得到抓取网页内容；根据抓取网页内容，确定满足预设统计条件的网页地址数量的统计结果；根据所述统计结果修改所述生成种子数；所述预设统计条件为：所述网页地址的抓取网页内容有效或所述网页地址的抓取网页内容在规定时间段内。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司，未经北京京东尚科信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310291520.8/，转载请声明来源钻瓜专利网。
