[发明专利]爬虫识别方法、装置、设备及可读存储介质

权利要求书

1.一种爬虫识别方法，其特征在于，应用爬虫识别方法的服务器端设置有识别代码，该识别代码对应的识别显示内容在所述服务器端对应页面上处于隐藏显示状态；

所述爬虫识别方法包括：

每接收到用户端向服务器端发送的用于请求网络信息的请求指令时,判断所述请求指令是否是请求包含所述识别显示内容的网络信息的请求指令；

若所述请求指令是请求包含所述识别显示内容的网络信息的请求指令，确定所述请求指令对应用户端存在爬虫所述服务器端的爬虫风险，并将发送所述请求指令的用户端列入所述服务器的黑名单列表中。

2.如权利要求1所述的爬虫识别方法，其特征在于，所述将发送所述请求指令的用户端列入所述服务器的黑名单列表中，包括：

获取所述请求指令对应的用户端的唯一标识码信息，该唯一标识码信息包括所述用户端的电子序列号ESN；

将所述用户端的电子序列号ESN列入至所述服务器端的黑名单列表中。

3.如权利要求1-2任一项所述的爬虫识别方法，其特征在于，所述请求指令中携带用户信息，所述用户信息包括IP信息，协议栈信息、用户代理UA信息；

所述判断所述请求指令是否是请求包含所述识别显示内容的网络信息的请求指令步骤之后，所述方法还包括：

若所述请求指令不是请求包含所述识别显示内容的网络信息的请求指令，则基于所述请求指令对应的用户信息，更新当前时间点过去预设时间段内所述服务器端采集的IP信息的第一聚集比例，更新所述过去预设时间段内所述服务器端采集的协议栈信息的第二聚集比例，并更新所述过去预设时间段内所述服务器端采集的用户代理UA信息的第三聚集比例；

若所述第一聚集比例大于第一预设值、第二聚集比例大于第二预设值且第三聚集比例大于第三预设值时，确定所述服务器端存在被爬虫的风险。

4.如权利要求3所述的爬虫识别方法，其特征在于，所述基于所述请求指令对应用户信息，更新当前时间点过去预设时间段内所述服务器端采集的IP信息的第一聚集比例步骤包括：

基于所述请求指令对应用户信息，获取所述当前时间点过去预设时间段内所述服务器端所采集的各个用户端的IP段；

对所述各个用户端的IP段进行有序排列，获取连续IP段在所述各个用户端的IP段中所占的第一占比；

将所述第一占比设为所述过去预设时间段内所述服务器端对应采集IP信息的第一聚集比例。

5.如权利要求3所述的爬虫识别方法，其特征在于，所述更新所述过去预设时间段内所述服务器端采集的协议栈信息的第二聚集比例步骤包括：

获取所述过去预设时间段内所述服务器端依次接收不同请求指令对应的各个接收时间间隔；

判断所述各个接收时间间隔是否是部分规律变化的，若所述各个接收时间间隔是部分规律变化的，则获取规律变化的时间间隔对应占比所述所有各个接收时间间隔的第二占比；

将所述第二占比设为所述过去预设时间段内所述服务器端采集的协议栈信息的第二聚集比例。

6.如权利要求5所述的爬虫识别方法，其特征在于，所述将所述第二占比设为所述过去预设时间段内所述服务器端采集的协议栈信息的第二聚集比例步骤包括：

获取所述过去预设时间段内，所述服务器端接收的不同第一请求对应的各个请求包；

获取所述各个请求包中丢失的子包，得到所述各个请求包的丢包率，并获取丢包率相同的所述各个请求包；

从丢包率相同的所述各个请求包中，获取得到所述丢失的子包在对应请求包中的发送序号；

判断所述发送序号是否相同，若所述发送序号是相同的，则获取所述丢包率相同的所述各个请求包在所有请求包中的请求包比例；

判断所述请求包比例是否大于预设请求包比例，若所述请求包比例大于预设请求包比例，则将所述第二占比设为所述过去预设时间段内所述服务器端对应协议栈信息的第二聚集比例。