[发明专利]一种抓取动态页面的方法、系统、设备及介质

说明书

本发明提供了一种抓取动态页面的方法，用于chromium浏览器，方法包括：接收爬虫抓取页面请求；将抓取页面请求的负载分配于多台服务器的管理程序，以使管理程序将所述抓取页面请求的负载分配于chromium浏览器的多个chromium进程，以通过多个chromium进程抓取网页中的动态页面。另一方面本发明还提供了一种抓取动态页面的系统、电子设备及计算机可读介质。通过定制化开发chromium浏览器，拦截了不必要信息，减少了抓取过程中页面渲染的冗余；通过设置管理程序，该管理程序可将抓取请求负载分配于多个chromium进程，多个chromium进程同时抓取，提高了抓取效率；通过负载均衡设备均衡，可搭建多个chromium浏览器集群，通用性和扩展性好。

技术领域

本发明涉及爬虫技术领域，尤其涉及一种抓取动态页面的方法、系统、设备及介质。

背景技术

当前分布式爬虫框架对动态页面抓取的功能，在高并发的场景下，抓取速度慢，失败率高，对服务器资源利用不合理；当前分布式爬虫框架对动态页面的抓取功能与爬虫框架本身高度耦合，动态页面抓取功能无法做到通用；当前分布式爬虫框架利用浏览器做页面渲染时，会存在很多冗余过程，降低了页面渲染抓取效率。

发明内容

(一)要解决的技术问题

本发明提供了一种抓取动态页面的方法、系统、设备及介质，以提供爬虫抓取动态页面时的效率、稳定性和通用性。

(二)技术方案

本发明提供了一种抓取动态页面的方法，用于chromium浏览器，方法包括：接收爬虫抓取页面请求；将抓取页面请求的负载分配于多台服务器的管理程序，以使所述管理程序将抓取页面请求的负载分配于chromium浏览器的多个chromium进程，以通过多个chromium进程抓取网页中的动态页面。

可选地，将所述抓取页面请求的负载分配于多个chromium进程具体为管理程序根据最小连接数调度算法将抓取页面请求的负载分配于多个chromium进程。

可选地，通过负载均衡设备将抓取页面请求的负载分配于多台服务器的管理程序。

可选地，负载均衡设备为LVS(Linux虚拟服务器)、Nginx、HAproxy中的一个。

可选地，管理程序与所述chromium浏览器和负载均衡设备连接，用于将负载均衡设备分配的抓取页面请求分配于chromium浏览器。

可选地，chromium浏览器通过websocket的通信方式与管理程序进行信息交互。

可选地，chromium浏览器还包括拦截程序，以拦截弹出窗口、忽略SSL证书错误以及非抓取页面的信息。

另一方面，本发明还提供了一种电子设备，设备包括：处理器；存储器，其存储有计算机可执行程序，该程序在被处理器执行时，使得处理器执行上述的抓取动态页面的方法。

又一方面，本发明还提供了一种抓取动态页面的系统，其特征在于，包括：接收模块，用于接收爬虫抓取页面请求；分配模块，用于将抓取页面请求的负载分配于多台服务器的管理程序，以使管理程序将抓取页面请求的负载分配于chromium浏览器的多个chromium进程，以通过多个chromium进程抓取网页中的动态页面。

又一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的抓取动态页面的方法。

(三)有益效果

通过定制化开发chromium浏览器，拦截了不必要信息，减少了抓取过程中页面渲染的冗余；通过设置管理程序，该管理程序可将抓取请求负载分配于多个chromium进程，多个chromium进程同时抓取，提高了抓取效率；通过LVS做负载均衡，可搭建对个chromium浏览器集群，通用性和扩展性好。