[发明专利]恶意爬虫检测方法、装置、电子设备及存储介质

说明书

本发明公开了一种恶意爬虫检测方法，应用于计算机技术领域，包括：获取待检测的网络地址的访问信息，访问信息包括网络地址访问目标网站的访问频率，获取访问信息内的访问频率，并判断访问频率是否大于第一预设阈值，当访问频率大于第一预设阈值，则判断网络地址是否为伪装用户代理商，若网络地址不是伪装用户代理商，则在访问信息内查找是否有referer字段，当没有referer字段或referer字段为空时，判断访问频率是否大于第二预设阈值，若是，则确定网络地址通过恶意爬虫访问目标网站。本发明还公开了一种恶意爬虫检测装置、电子设备及存储介质，可提升检测恶意爬虫的时效性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种恶意爬虫检测方法、装置、电子设备及存储介质。

背景技术

目前对于恶意爬虫的检测主要使用以下四种方法：

(1)日志句法分析方法。通过对比访问用户和爬虫名单库中爬虫的用户代理域关键词、IP地址等信息来检测爬虫，使用日志句法分析技术来检测访问在线科学杂志Glycobiology的爬虫，这类技术只能发现已被记录的爬虫。

(2)基于网络流量的分析技术。通过寻找人类用户与爬虫的不同流量特征来检测爬虫。利用人类用户与爬虫的查询数量和时间间隔模式的不同来检测爬虫。

(3)机器学习方法。使用机器学习模型来判断访问是否来自爬虫。常使用的模型有神经网络、贝叶斯分类器、决策树、SVM、马尔可夫链模型等。

(4)图灵测试系统通过让访问者回答一些问题来分析其是否为爬虫。

目前，以上四种方法虽然可以起到一定的对于恶意爬虫的检测，但是都是被恶意爬虫执行了一段时间之后，才检测到进而进行相应的处理，缺少时效性。

发明内容

本发明的主要目的在于提供一种恶意爬虫检测方法、装置、电子设备及存储介质，可提升检测恶意爬虫的时效性。

为实现上述目的，本发明实施例第一方面提供一种恶意爬虫检测方法，包括：

获取待检测的网络地址的访问信息，所述访问信息包括所述网络地址访问目标网站的访问频率；

获取所述访问信息内的所述访问频率，并判断所述访问频率是否大于第一预设阈值；

当所述访问频率大于所述第一预设阈值，则判断所述网络地址是否为伪装用户代理商；

若所述网络地址不是伪装用户代理商，则在所述访问信息内查找是否有referer字段，当没有所述referer字段或所述referer字段为空时，判断所述访问频率是否大于第二预设阈值，若是，则确定所述网络地址通过恶意爬虫访问所述目标网站。

本发明实施例第二方面提供一种恶意爬虫检测装置，包括：

第一获取模块，用于获取待检测的网络地址的访问信息，所述访问信息包括所述网络地址访问目标网站的访问频率；

第二获取模块，用于获取所述访问信息内的所述访问频率，并判断所述访问频率是否大于第一预设阈值；

第一判断模块，用于当所述访问频率大于所述第一预设阈值，则判断所述网络地址是否为伪装用户代理商；

确定模块，用于若所述网络地址不是伪装用户代理商，则在所述访问信息内查找是否有referer字段，当没有所述referer字段或所述referer字段为空时，判断所述访问频率是否大于第二预设阈值，若是，则确定所述网络地址通过恶意爬虫访问所述目标网站。

本发明实施例第三方面提供了一种电子设备，包括：

存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现本发明实施例第一方面提供的恶意爬虫检测方法。