[发明专利]一种通用的互联网数据采集反反爬系统及方法

摘要

本发明公开了一种通用的互联网数据采集反反爬方法及系统，该方法通过UA验证单元(01)向服务器提供随机UA头、通过IP验证单元(02)向服务器提供随机代理IP、通过间隔验证单元(03)有根据的随机化请求间隔、通过授权状态验证单元(04)模拟登录、以及通过验证码识别单元(05)进行验证码识别或通过上述组合以分别应对互联网反爬验证中的请求UA验证、请求IP验证、请求间隔验证、授权状态验证、人工操作验证或其组合，上述方式可绕过对多种反爬验证手段组合的拦截，实现对网站信息的有效获取。

主权项

1.一种通用的互联网数据采集反反爬方法，其特征在于，该方法包括以下步骤：步骤1：通过UA头发送模块(011)接收服务器提出的UA验证请求，由UA头列表(012)中随机抽取UA头，向服务器提供随机UA头；步骤2：通过代理IP发送模块(021)接收服务器提出的IP验证请求，并向代理IP管理模块(022)发送调取代理IP的请求，代理IP管理模块(022)由IP代理池(023)中获取随机代理IP后传送至代理IP发送模块(021)，经附加代理IP于HTTP请求头中，向服务器提供代理IP；步骤3：通过请求间隔控制模块(031)控制请求源对服务器的请求间隔，使请求间隔随机化；步骤4：通过登录请求查询模块(041)确定服务器是否发送登录请求，若服务器发送登录请求，通过自动登录模块(044)以拼接登录链接模式或者内置无界面浏览器模式实施网站登录；若服务器未发送登录请求，则登录请求查询模块(041)不进行信号传送及后续自动登录模块(044)的相关登录操作；步骤5：通过验证码请求查询模块(051)确定服务器是否发送验证码请求，若发送验证码请求则验证码请求查询模块(051)将请求信号传送至验证码识别模块(052)，验证码识别模块(052)接收验证码请求查询模块(051)传送的请求信号，对验证码进行文字识别，并进行验证码文字输入；若服务器未发送验证码请求，则验证码请求查询模块(051)不进行信号传送。