[发明专利]一种网络爬虫自动化获取网页信息方法、装置及系统在审
| 申请号： | 201911330026.1 | 申请日： | 2019-12-20 |
| 公开（公告）号： | CN111191097A | 公开（公告）日： | 2020-05-22 |
| 发明（设计）人： | 杨艺祥;吴文青;唐禹;陈胜路 | 申请（专利权）人： | 天阳宏业科技股份有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 北京知呱呱知识产权代理有限公司 11577 | 代理人： | 盛明星 |
| 地址： | 100102 北京市朝阳区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例公开了一种网络爬虫自动化获取网页信息方法、装置及系统，通过预先配置的网络爬虫自动启动浏览器并进入目标网页登录页面；在所述目标网页登录页面通过模拟键盘输入账号和密码完成模拟登录；获取目标网页服务器返回的cookie信息并保存；向所述目标网页服务器发送携带有所述cookie信息的访问请求访问目标网页并爬取网页信息。通过网络爬虫模拟真实登录过程，实现真实的账号和密码输入，获取cookie信息完成网页爬取，即便需要进行登录验证，登录安全控件升级以及网页参数的改变都不影响网页爬取的正常使用，减少客户端系统程序升级，最大程度减少不可控风险。 | ||
| 搜索关键词： | 一种 网络 爬虫 自动化 获取 网页 信息 方法 装置 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天阳宏业科技股份有限公司，未经天阳宏业科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911330026.1/，转载请声明来源钻瓜专利网。
