[发明专利]一种反爬虫的方法、装置、设备及存储介质

权利要求书

1.一种反爬虫方法，其特征在于，包括：

通过查询访问日志以确定是否出现异常访问；

在确定出现异常访问后，根据预设规则库中的预设规则分析访问日志，以确定异常用户参数集；

将所述异常用户参数集加入黑名单；

根据所述黑名单内所述异常用户参数集对所述异常用户进行封禁操作。

2.根据权利要求1所述的反爬虫方法，其特征在于，所述通过访问日志确定是否出现访问异常包括：

根据触发条件查询访问日志；

根据第一预设时间区间内第一预设条件的第一阈值和访问日志确定是否出现异常访问。

3.根据权利要求1所述的反爬虫方法，其特征在于，所述反爬虫方法的所述预设规则库的预设规则包括以下规则至少之一：

访问行为是否超过第二预设时间区间内第二预设条件的第二阈值；

访问请求头中是否包含预设字段集中的关键字；

访问请求头中是否包含请求头白名单中的关键字；

访问请求IP地址是否在IP地址白名单内。

4.根据权利要求3所述的反爬虫方法，其特征在于，所述预设字段集包括以下关键字至少之一：

Java,Python,C++,C#,PHP,Perl、PHP和GO。

5.根据权利要求1所述的反爬虫方法，其特征在于，所述将所述异常用户加入黑名单前还包括：

将所述异常用户参数集加入再次验证列表作为再次验证用户；

接收所述再次验证用户页面请求；

发送手动验证页面给所述再次验证用户；

接收所述再次验证用户的所述手动验证页面的返回结果；

根据所述的返回结果确定是否将再次验证用户加入黑名单。

6.根据权利要求1所述的反爬虫方法，其特征在于，所述异常用户参数集至少包括用户IP地址。

7.根据权利要求1所述的反爬虫方法，其特征在于，所述请求头白名单内字段包括搜索引擎请求头字段。

8.一种反爬虫装置，其特征在于，包括：查询模块、分析模块、黑名单模块和过滤模块；

所述查询模块被配置为通过查询访问日志确定是否出现异常访问；

所述分析模块被配置为根据预设规则库的预设规则分析访问日志，以确定异常用户参数集；

所述黑名单模块被配置为将所述异常用户参数集加入黑名单；

所述过滤模块被配置为根据所述黑名单内所述异常用户参数集对所述异常用户进行封禁操作。

9.一种反爬虫设备，其特征在于，包括：至少一个处理器和能够存储在处理器上运行的计算机指令的存储器；

其中，所述处理器用于运行所述计算机指令实现权利要求1-7所述的方法。

10.一种存储介质，所述存储介质中存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-7所述的方法。