[发明专利]页面检测方法及客户端有效
| 申请号： | 201410522123.1 | 申请日： | 2014-09-30 |
| 公开（公告）号： | CN105528370B | 公开（公告）日： | 2020-04-07 |
| 发明（设计）人： | 赵武;龙专 | 申请（专利权）人： | 奇安信科技集团股份有限公司 |
| 主分类号： | G06F16/955 | 分类号： | G06F16/955;G06F16/951;G06F3/0484;G06F3/0487 |
| 代理公司： | 北京路浩知识产权代理有限公司 11002 | 代理人： | 王莹 |
| 地址： | 100088 北京市西城区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种页面检测方法及客户端。其中，方法包括：在针对网络进行旁路侦听的过程中抓取数据请求包，其中，数据请求包至少包括超文本传输协议请求包；确定数据请求包对应的链接是否为新链接，其中，新链接为链接库中未保存的链接；若是，利用对应的链接生成待爬虫库；提取待爬虫库中的任一链接：获取与任一链接对应的页面；提取页面的所有节点；根据所有节点检测页面是否包含新链接；当检测结果为是，获取新链接，并添加至待爬虫库，以供后续执行页面检测使用。依据本发明实施例提供的页面检测方法，能够达到自动抓取基于第二代互联网制作相关内容的网站的链接，完善爬虫操作效果的有益效果。 | ||
| 搜索关键词： | 页面 检测 方法 客户端 | ||
【主权项】：
一种页面检测方法，包括：在针对网络进行旁路侦听的过程中抓取数据请求包，其中，所述数据请求包至少包括超文本传输协议请求包；确定所述数据请求包对应的链接是否为新链接，其中，所述新链接为链接库中未保存的链接；若是，利用所述对应的链接生成待爬虫库；提取所述待爬虫库中的任一链接：获取与所述任一链接对应的页面；提取所述页面的所有节点；根据所述所有节点检测所述页面是否包含所述新链接；当检测结果为是，获取所述新链接，并添加至所述待爬虫库，以供后续执行页面检测使用。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于奇安信科技集团股份有限公司，未经奇安信科技集团股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410522123.1/，转载请声明来源钻瓜专利网。
- 上一篇：更新地理信息数据增量的方法及装置
- 下一篇：网页转码方法、装置以及服务器
