[发明专利]一种网页数据抓取方法、装置、存储介质和设备

说明书

本申请实施例提供一种网页数据抓取方法、装置、存储介质和设备，所述方法包括：在通过无头浏览器成功登录目标网页之后，若所述无头浏览器监听到所述目标网页的AJAX请求，通过所述无头浏览器将监听到的AJAX请求中所携带的授权认证信息存入缓存中；通过数据抓取脚本从缓存中读取授权认证信息，并将读取到的授权认证信息添加到用于抓取网页数据的访问请求中；通过所述数据抓取脚本，基于含有授权认证信息的访问请求，抓取服务器在基于授权认证信息通过认证之后返回的网页数据。如此，能够实现有效地抓取网页数据。

技术领域

本申请涉及计算机技术领域，尤其涉及一种网页数据抓取方法、装置、存储介质和设备。

背景技术

随着互联网信息技术的迅速发展，越来越多的网站随之而生。基于从网站抓取的数据可进行相应的进一步处理。例如，通过抓取网站的相关数据进行分析处理，能够提供诸如数据分析、智能推荐等数据服务。

目前，在大型的网页应用簇中，经常会使用单点登录(Single Sign On，SSO)作为用户认证手段，这种认证方式可以让用户在多个应用系统中，只需要使用同一个账号登录一次，就可以访问其他相互信任的应用系统。但是，在这种复杂的登录流程下，目前的网络爬虫如Scrapy(抓取)框架，在不同域名间redirect(重定向)能力十分羸弱，不方便处理不同域名下cookie(储存在用户本地终端上的数据)共享问题，当遇到一些需要用户认证授权的内容或者触发网站的反机器人检测时，都会使得网络爬虫中断抓取网页数据。

因此，如何有效地抓取网页数据，是目前亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供一种网页数据抓取方法、装置、存储介质和设备，能够有效地抓取网页数据。

本申请实施例主要提供如下技术方案：

第一方面，本申请实施例提供了一种网页数据抓取方法，包括：在通过无头浏览器成功登录目标网页之后，若所述无头浏览器监听到所述目标网页的AJAX请求，通过所述无头浏览器将监听到的AJAX请求中所携带的授权认证信息存入缓存中；通过数据抓取脚本从缓存中读取授权认证信息，并将读取到的授权认证信息添加到用于抓取网页数据的访问请求中；通过所述数据抓取脚本，基于含有授权认证信息的访问请求，抓取服务器在基于授权认证信息通过认证之后返回的网页数据。

在一种示例性实施例中，所述目标网页的URL(Uniform Resource Locator，统一资源定位符)与含有授权认证信息的访问请求中的URL是不相同的，含有授权认证信息的访问请求中的URL与监听到的AJAX请求中的URL是相同的。

在一种示例性实施例中，所述在通过无头浏览器成功登录目标网页之后，若所述无头浏览器监听到所述目标网页的AJAX请求，通过所述无头浏览器将监听到的AJAX请求中所携带的授权认证信息存入缓存中，包括：通过所述无头浏览器根据预设的目标网页的URL，以预设账户信息登录所述目标网页，其中，预设账户信息为用于标识登录目标网页的用户的身份标识；在所述无头浏览器成功登录所述目标网页之后，通过所述无头浏览器对所述目标网页的AJAX请求进行监听；若无头浏览器监听到目标网页的AJAX请求，通过所述无头浏览器将监听到的AJAX请求中所携带的授权认证信息存入缓存中。

在一种示例性实施例中，所述通过所述无头浏览器根据预设的目标网页的URL，以预设账户信息登录所述目标网页，包括：启动所述无头浏览器；在所述无头浏览器上启动浏览器窗口；根据预设的目标网页的URL，等待所述浏览器窗口加载所述目标网页；在所述浏览器窗口加载出所述目标网页中的用于输入账户信息的元素之后，输入预设账户信息，以登录目标网页。