[发明专利]一种优化定位精度及爬取效率的爬虫方法在审
| 申请号： | 202010983424.X | 申请日： | 2020-09-18 |
| 公开（公告）号： | CN112115330A | 公开（公告）日： | 2020-12-22 |
| 发明（设计）人： | 孙健;胡健龙;姚婷婷;赵书武;王彩洪 | 申请（专利权）人： | 电子科技大学成都研究院 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/9532;G06K9/00 |
| 代理公司： | 北京正华智诚专利代理事务所(普通合伙) 11870 | 代理人： | 何凡 |
| 地址： | 610213 四川省成都*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种优化定位精度及爬取效率的爬虫方法，包括以下步骤：S1：获取目标网站和爬取关键词；S2：根据目标网站的首页判断是否需要登录验证，若是则进入步骤S3，否则进入步骤S4；S3：通过提取Cookies和authenticity_token，构建Cookies池并识别验证码，进行模拟登录；S4：采用Splash对象，对模拟登录后目标网站中的多层动态渲染网页进行定向爬取。本发明有效提高了应对目前主流网站的反爬机制的效率，有效提高了爬取内容的定向性与精确度，反应时间更快，容错率更高，健壮性更强。 | ||
| 搜索关键词： | 一种 优化 定位 精度 效率 爬虫 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电子科技大学成都研究院，未经电子科技大学成都研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010983424.X/，转载请声明来源钻瓜专利网。
- 上一篇：一种空调负荷提取的方法
- 下一篇：一种应用于小水线面双体船的自动吸气支柱结构
