[发明专利]一种网页数据抓取方法、装置、存储介质和设备

权利要求书

1.一种网页数据抓取方法，包括：

在通过无头浏览器成功登录目标网页之后，若所述无头浏览器监听到所述目标网页的AJAX请求，通过所述无头浏览器将监听到的AJAX请求中所携带的授权认证信息存入缓存中；

通过数据抓取脚本从缓存中读取授权认证信息，并将读取到的授权认证信息添加到用于抓取网页数据的访问请求中；

通过所述数据抓取脚本，基于含有授权认证信息的访问请求，抓取服务器在基于授权认证信息通过认证之后返回的网页数据。

2.根据权利要求1所述的方法，其特征在于，所述目标网页的统一资源定位符URL与含有授权认证信息的访问请求中的URL是不相同的，含有授权认证信息的访问请求中的URL与监听到的AJAX请求中的URL是相同的。

3.根据权利要求1所述的方法，其特征在于，所述在通过无头浏览器成功登录目标网页之后，若所述无头浏览器监听到所述目标网页的AJAX请求，通过所述无头浏览器将监听到的AJAX请求中所携带的授权认证信息存入缓存中，包括：

通过所述无头浏览器根据预设的目标网页的URL，以预设账户信息登录所述目标网页，其中，预设账户信息为用于标识登录目标网页的用户的身份标识；

在所述无头浏览器成功登录所述目标网页之后，通过所述无头浏览器对所述目标网页的AJAX请求进行监听；

若无头浏览器监听到目标网页的AJAX请求，通过所述无头浏览器将监听到的AJAX请求中所携带的授权认证信息存入缓存中。

4.根据权利要求3所述的方法，其特征在于，所述通过所述无头浏览器根据预设的目标网页的URL，以预设账户信息登录所述目标网页，包括：

启动所述无头浏览器；

在所述无头浏览器上启动浏览器窗口；

根据预设的目标网页的URL，等待所述浏览器窗口加载所述目标网页；

在所述浏览器窗口加载出所述目标网页中的用于输入账户信息的元素之后，输入预设账户信息，以登录目标网页。

5.根据权利要求1所述的方法，其特征在于，所述通过所述数据抓取脚本，基于含有授权认证信息的访问请求，抓取服务器在基于授权认证信息通过认证之后返回的网页数据，包括：

通过所述数据抓取脚本将含有授权认证信息的访问请求发送给服务器，以使服务器基于授权认证信息进行认证；

接收所述服务器在基于授权认证信息通过认证之后返回的网页数据；

从所述服务器在基于授权认证信息通过认证之后返回的网页数据中，抓取满足预设抓取条件的网页数据。

6.根据权利要求1所述的方法，其特征在于，所述通过所述无头浏览器将监听到的AJAX请求中所携带的授权认证信息存入缓存中，包括：

对监听到的AJAX请求进行解析，得到请求头信息；

将所述请求头信息作为所述授权认证信息存入缓存中。

7.根据权利要求1所述的方法，其特征在于，所述无头浏览器由Puppeteer框架实现，所述缓存由远程字典服务Redis数据库实现，所述数据抓取脚本由抓取Scrapy框架实现。

8.一种计算机可读存储介质，包括：存储的程序，其中，在所述程序运行时控制所述存储介质所在计算机设备执行如权利要求1至7任一项中所述的网页数据抓取方法的步骤。

9.一种计算机设备，包括：

至少一个处理器；

以及与所述处理器连接的至少一个存储器、总线；

其中，所述处理器、存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至7任一项中所述的网页数据抓取方法的步骤。

10.一种网页数据抓取装置，包括：无头浏览器、缓存和网络爬虫，其中，

所述无头浏览器，被设置为在成功登录目标网页之后，若监听到所述目标网页的AJAX请求，将监听到的AJAX请求中所携带的授权认证信息存入所述缓存中；

所述缓存，被设置为存储授权认证信息；

所述网络爬虫，被设置为从缓存中读取授权认证信息，并将读取到的授权认证信息添加到用于抓取网页数据的访问请求中；基于含有授权认证信息的访问请求，抓取服务器在基于授权认证信息通过认证之后返回的网页数据。