[发明专利]一种对访问次数有限制的网站防封禁方法及系统

权利要求书

1.一种对访问次数有限制的网站防封禁方法，其特征在于：包括如下步骤，

S1、通过爬虫工具，自动化控制目标浏览器，使用selenium访问网站登录页面；

S2、当网站登录页面加载完毕，循环获取准备好的用户名和密码填充到登录表单中；

S3、登录网站，并获取登录结果cookie；

S4、解析获取的登录结果的返回体，并根据返回体中set cookie的内容，判断setcookie中当前cookie的有效性，根据判断结果剔除已过期cookie，之后将有效cookie保存到内存或持久化到硬盘，动态添加有效cookie到cookie池；

S5、根据有效cookie，直接采集目标网页数据。

2.根据权利要求1所述的对访问次数有限制的网站防封禁方法，其特征在于：步骤S4中当前登录结果cookie有效性的判断方式为，

判断当前cookie的请求使用次数是否达到预设访问次数的90％，若是，则表示当前登录结果的cookie有效；若否，则表示当前cookie已过期。

3.一种对访问次数有限制的网站防封禁系统，所述系统用于实现权利要求1或2所述的对访问次数有限制的网站防封禁方法；其特征在于：所述系统包括，

爬虫工具；用于自动化控制目标浏览器，使用selenium访问网站登录页面；

信息填充模块；用于在网站登录页面加载完毕后，循环获取准备好的用户名和密码填充到登录表单中；

cookie获取模块；用于获取登录结果的cookie；

解析模块；用于解析登录结果的返回体；

cookie控制模块；用于接收返回体中set cookie的内容，并根据返回体中set cookie的内容，判断set cookie中当前cookie的有效性，根据判断结果剔除已过期cookie，之后将有效cookie保存到内存或持久化到硬盘，动态添加有效cookie到cookie池；

采集模块；用于调用cookie控制模块，获取有效cookie，使用有效cookie直接采集目标网页数据。