[发明专利]爬虫识别方法、装置、设备及可读存储介质

说明书

本发明公开了一种爬虫识别方法、装置、设备及可读存储介质，应用爬虫识别方法的服务器端设置有识别代码，该识别代码对应的识别显示内容在所述服务器端对应页面上处于隐藏显示状态；所述爬虫识别方法包括：每接收到用户端向服务器端发送的用于请求网络信息的请求指令时；判断所述请求指令是否是请求包含所述识别显示内容的网络信息的请求指令；若所述请求指令是请求包含所述识别显示内容的网络信息的请求指令，确定所述请求指令对应用户端存在爬虫所述服务器端的爬虫风险。本发明解决现有存在爬虫端的识别难度大，爬虫限制的难度大的技术问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种爬虫识别方法、装置、设备及可读存储介质。

背景技术

爬虫指的是网络爬虫(又被称为网页蜘蛛，网络机器人等)，是一种按照一定的规则，自动地抓取互联网上网络信息的程序或者脚本。爬虫在抓取一个网页后，若这个网页中具有指向各个其它网页的超链接，那么就可以爬到另一张网上来获取其它数据。

爬虫过程中获取网络数据的方式可以是：方式一：爬虫端提交网路信息请求-下载网页代码-解析成页面，方式二：爬虫端模拟浏览器发送请求-提取有用的数据-存放于数据库或文件中，目前，许多网站都需要限制爬虫公司的爬虫，以避免网站信息的全面泄漏，但是现有技术中存在爬虫端的识别难度大，造成爬虫限制的难度大，网站信息容易全面泄漏的技术问题。

发明内容

本发明的主要目的在于提供一种爬虫识别方法、装置、设备及可读存储介质，旨在解决存在爬虫端的识别难度大，爬虫限制的难度大的技术问题。

为实现上述目的，本发明提供一种爬虫识别方法，应用爬虫识别方法的服务器端设置有识别代码，该识别代码对应的识别显示内容在所述服务器端对应页面上处于隐藏显示状态；

所述爬虫识别方法包括：

每接收到用户端向服务器端发送的用于请求网络信息的请求指令时,判断所述请求指令是否是请求包含所述识别显示内容的网络信息的请求指令；

若所述请求指令是请求包含所述识别显示内容的网络信息的请求指令，确定所述请求指令对应用户端存在爬虫所述服务器端的爬虫风险，并将发送所述请求指令的用户端列入所述服务器的黑名单列表中。

可选地，将发送所述请求指令的用户端列入所述服务器的黑名单列表中，包括：

获取所述请求指令对应的用户端的唯一标识码信息，该唯一标识码信息包括所述用户端的电子序列号ESN；

将所述用户端的电子序列号ESN列入至所述服务器端的黑名单列表中。

可选地，所述请求指令中携带用户信息，所述用户信息包括IP信息，协议栈信息、用户代理UA信息；

所述判断所述请求指令是否是请求包含所述识别显示内容的网络信息的请求指令步骤之后，所述方法还包括：

若所述请求指令不是请求包含所述识别显示内容的网络信息的请求指令，则基于所述请求指令对应的用户信息，更新当前时间点过去过去预设时间段内所述服务器端采集的IP信息的第一聚集比例，更新所述过去过去预设时间段内所述服务器端采集的协议栈信息的第二聚集比例，并更新所述过去过去预设时间段内所述服务器端采集的用户代理UA信息的第三聚集比例；

若所述第一聚集比例大于第一预设值、第二聚集比例大于第二预设值且第三聚集比例大于第三预设值时，确定所述服务器端存在被爬虫的风险。

可选地，所述基于所述请求指令对应用户信息，更新当前时间点过去过去预设时间段内所述服务器端采集的IP信息的第一聚集比例步骤包括：

基于所述请求指令对应用户信息，获取所述当前时间点过去过去预设时间段内所述服务器端所采集的各个用户端的IP段；