[发明专利]一种分级校验防爬虫的方法、装置、设备及存储介质

权利要求书

1.一种分级校验防爬虫方法，其特征在于，包括：

接受用户请求，获取横向时间访问数据；

利用所述横向时间访问数据统计得到横向时间访问次数；

利用所述横向时间访问次数计算风险系数；

判断所述风险系数是否在预设校验异常范围内；

若所述风险系数在所述预设校验异常范围内，则根据所述风险系数进行风险值评估，判断用户请求风险分级，所述用户请求风险分级包括低风险、中风险、高风险；

当所述用户请求风险分级为高风险时，进行登录拦截校验，当所述用户请求风险分级为中风险时，进行验证码校验，当所述用户请求风险分级为低风险时，则允许请求，返回数据并存储至数据库；

若所述登录拦截校验或所述验证码校验失败，则判定为爬虫，封禁ip，若所述登录成功或所述验证码校验成功，则允许请求并将所述风险系数清零。

2.根据权利要求1所述的分级校验防爬虫方法，其特征在于，所述利用所述横向时间访问数据统计得到横向时间访问次数包括：

将所述横向时间访问数据存储至数据库并设置过期时间为预设时长；

利用所述横向时间访问数据的唯一标识key统计横向时间访问次数，所述横向时间访问次数为同一时间内用户并发的重复行为，所述横向时间访问数据的唯一标识key包含ip和访问端信息。

3.根据权利要求2所述的分级校验防爬虫方法，其特征在于，所述唯一标识key为目标url和当前时间minute的Md5加密key。

4.根据权利要求1所述的分级校验防爬虫方法，其特征在于，所述利用所述横向时间访问次数计算风险系数包括：

所述风险系数score计算规则为：

score＝d+c/r+m

其中，c为所述用户的横向时间访问次数，r为请求阈值系数，m为根据用户行为风险预设的不同分数，d为根据两次相同访问时间间隔预设的分数,Aⁿ为在每次用户操作时，采用预先训练好的RNN+SoftMax模型选取预先定义的分值数组中的一个分值，并对每次操作选取的数值进行累加得到的分数：

Aⁿ＝tanh(Wα×A^n-1+Wβ×Tⁿ+Basic)

其中，n为循环迭代次数，Wα为m*n矩阵，Wβ为m*n矩阵，T为矩阵第一列，Basic为m*1矩阵,m为常量；

所述RNN+SoftMax模型的的损失函数为：

其中，N为样本数，M为类别数，Yic为真实数据概率，Pic属于类别为i的预测概率,x为修正参数。

5.根据权利要求1所述的分级校验防爬虫方法，其特征在于，所述判断所述风险系数是否在预设的校验异常范围内包括：

若所述风险系数不在所述预设校验异常范围内，则判断所述横向时间访问次数是否超过访问次数上限，若超过所述访问次数上限，则判定为爬虫；

若所述横向时间访问次数未超过所述访问次数上限，且所述横向时间访问数据的唯一标识key存在合法前置访问，则允许用户请求，正常返回数据并存储至数据库。

6.根据权利要求1所述的分级校验防爬虫方法，其特征在于，所述若所述风险系数在所述预设校验异常范围内，则根据所述风险系数进行风险值评估，判断用户请求风险分级，所述用户请求风险分级包括低风险、中风险、高风险包括：

所述预设校验异常范围划分为预设低风险范围、预设中风险范围、预设高风险范围；

若所述用户的横向时间访问次数未超过访问次数上限，若所述横向时间访问数据的唯一标识key不存在合法前置访问，且所述风险系数在所述预设低风险范围内，则判定为所述低风险；

若所述用户的横向时间访问次数未超过所述访问次数上限时，且所述横向时间访问数据的唯一标识key存在合法前置访问，且所述风险系数在所述预设中风险范围内，则判定为所述中风险；

若所述用户的横向时间访问次数未超过所述访问次数上限时，但所述横向时间访问数据的唯一标识key不存在合法前置访问，且所述风险系数在所述预设高风险范围内，则判定为所述高风险。