[发明专利]一种抓取动态页面的方法、系统、设备及介质有效
| 申请号： | 201811562767.8 | 申请日： | 2018-12-20 |
| 公开（公告）号： | CN109471979B | 公开（公告）日： | 2021-09-10 |
| 发明（设计）人： | 沈鹏;顾鹏飞 | 申请（专利权）人： | 奇安信科技集团股份有限公司 |
| 主分类号： | G06F16/9535 | 分类号： | G06F16/9535 |
| 代理公司： | 中科专利商标代理有限责任公司 11021 | 代理人： | 周天宇 |
| 地址： | 100088 北京市西城区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种抓取动态页面的方法，用于chromium浏览器，方法包括：接收爬虫抓取页面请求；将抓取页面请求的负载分配于多台服务器的管理程序，以使管理程序将所述抓取页面请求的负载分配于chromium浏览器的多个chromium进程，以通过多个chromium进程抓取网页中的动态页面。另一方面本发明还提供了一种抓取动态页面的系统、电子设备及计算机可读介质。通过定制化开发chromium浏览器，拦截了不必要信息，减少了抓取过程中页面渲染的冗余；通过设置管理程序，该管理程序可将抓取请求负载分配于多个chromium进程，多个chromium进程同时抓取，提高了抓取效率；通过负载均衡设备均衡，可搭建多个chromium浏览器集群，通用性和扩展性好。 | ||
| 搜索关键词： | 一种 抓取 动态 页面 方法 系统 设备 介质 | ||
【主权项】：
1.一种抓取动态页面的方法，用于chromium浏览器，其特征在于，方法包括：接收爬虫抓取页面请求；将所述抓取页面请求的负载分配于多台服务器的管理程序，以使所述管理程序将所述抓取页面请求的负载分配于所述chromium浏览器的多个chromium进程，以通过所述多个chromium进程抓取网页中的动态页面。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于奇安信科技集团股份有限公司，未经奇安信科技集团股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811562767.8/，转载请声明来源钻瓜专利网。
