[发明专利]一种网络爬虫自动化获取网页信息方法、装置及系统

权利要求书

1.一种网络爬虫自动化获取网页信息方法，其特征在于，所述方法包括：

通过预先配置的网络爬虫自动启动浏览器并进入目标网页登录页面；

在所述目标网页登录页面通过模拟键盘输入账号和密码完成模拟登录；

获取目标网页服务器返回的cookie信息并保存；

向所述目标网页服务器发送携带有所述cookie信息的访问请求访问目标网页并爬取网页信息。

2.根据权利要求1所述的一种网络爬虫自动化获取网页信息方法，其特征在于，通过预先配置的网络爬虫自动启动浏览器并进入目标网页登录页面之前，所述方法还包括：

通过定时器设置定时python网络爬虫。

3.根据权利要求1所述的一种网络爬虫自动化获取网页信息方法，其特征在于，通过预先配置的网络爬虫自动启动浏览器并进入目标网页登录页面，具体包括：

所述网络爬虫通过调用Selenium自动化测试工具对所述浏览器进行操作。

4.根据权利要求1所述的一种网络爬虫自动化获取网页信息方法，其特征在于，在所述目标网页登录页面通过模拟键盘输入账号和密码完成模拟登录，具体包括：

所述网络爬虫通过调用winIO函数库，生成键盘电信号，触发键盘按键事件，进行账号和密码的模拟输入。

5.根据权利要求1所述的一种网络爬虫自动化获取网页信息方法，其特征在于，获取目标网页服务器返回的cookie信息并保存，具体包括：

所述网络爬虫通过使用BrowserMob Proxy代理服务器抓取所述浏览器的http数据包，并提取所述cookie信息。

6.根据权利要求1所述的一种网络爬虫自动化获取网页信息方法，其特征在于，向所述目标网页服务器发送携带有所述cookie信息的访问请求访问目标网页并爬取网页信息之前，所述方法还包括：

检验所述cookie信息是否过期，若过期，则通过网络爬虫重新模拟登录获取有效的cookie信息。

7.一种网络爬虫自动化获取网页信息装置，其特征在于，所述装置包括：

cookie获取模块，用于通过预先配置的网络爬虫自动启动浏览器并进入目标网页登录页面；

在所述目标网页登录页面通过模拟键盘输入账号和密码完成模拟登录；

获取目标网页服务器返回的cookie信息并保存；

网页爬取模块，用于向所述目标网页服务器发送携带有所述cookie信息的访问请求访问目标网页并爬取网页信息。

8.根据权利要求7所述的一种网络爬虫自动化获取网页信息装置，其特征在于，所述cookie获取模块还用于：

通过定时器设置定时python网络爬虫。

9.一种网络爬虫自动化获取网页信息系统，其特征在于，所述系统包括：处理器和存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-6任一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种网络爬虫自动化获取网页信息系统执行如权利要求1-6任一项所述的方法。