[发明专利]恶意爬虫检测方法、装置、电子设备及存储介质

权利要求书

1.一种恶意爬虫检测方法，其特征在于，包括：

获取待检测的网络地址的访问信息，所述访问信息包括所述网络地址访问目标网站的访问频率；

获取所述访问信息内的所述访问频率，并判断所述访问频率是否大于第一预设阈值；

当所述访问频率大于所述第一预设阈值，则判断所述网络地址是否为伪装用户代理商；

若所述网络地址不是伪装用户代理商，则在所述访问信息内查找是否有referer字段，当没有所述referer字段或所述referer字段为空时，判断所述访问频率是否大于第二预设阈值，若是，则确定所述网络地址通过恶意爬虫访问所述目标网站；

其中，所述伪装用户代理商是指通过代码库访问所述目标网站的代理商。

2.根据权利要求1所述的恶意爬虫检测方法，其特征在于，所述判断所述网络地址是否为伪装用户代理商之后，还包括：

若所述网络地址是伪装用户代理商，则判断所述访问频率是否大于第三预设阈值；

若大于所述第三预设阈值，则确定所述网络地址通过恶意爬虫访问所述目标网站；

若不大于所述第三预设阈值，则当所述网络地址不是通过认证爬虫访问所述目标网站时，判断所述目标网站是否允许通过爬虫访问，若不允许，则判断所述访问频率是否大于第四预设阈值，若大于，则确定所述网络地址通过恶意爬虫访问所述目标网站；

其中，所述认证爬虫为搜索引擎爬虫。

3.根据权利要求2所述的恶意爬虫检测方法，其特征在于，所述获取待检测的网络地址的访问信息之前包括：

判断待检测的所述网络地址是否为外部网络地址；

若所述网络地址为外部网络地址，则执行获取待检测的网络地址的访问信息的步骤。

4.根据权利要求1所述的恶意爬虫检测方法，其特征在于，所述确定所述网络地址通过恶意爬虫访问所述目标网站之前，包括：

获取所述网络地址通过恶意爬虫访问所述目标网站时的时间点；

判断所述时间点的每秒查询率是否在预设范围内，若不在预设范围内，则确定所述网络地址通过恶意爬虫访问所述目标网站。

5.一种恶意爬虫检测装置，其特征在于，包括：

第一获取模块，用于获取待检测的网络地址的访问信息，所述访问信息包括所述网络地址访问目标网站的访问频率；

第二获取模块，用于获取所述访问信息内的所述访问频率，并判断所述访问频率是否大于第一预设阈值；

第一判断模块，用于当所述访问频率大于所述第一预设阈值，则判断所述网络地址是否为伪装用户代理商；

确定模块，用于若所述网络地址不是伪装用户代理商，则在所述访问信息内查找是否有referer字段，当没有所述referer字段或所述referer字段为空时，判断所述访问频率是否大于第二预设阈值，若是，则确定所述网络地址通过恶意爬虫访问所述目标网站；

其中，所述伪装用户代理商是指通过代码库访问所述目标网站的代理商。

6.根据权利要求5所述的恶意爬虫检测装置，其特征在于，所述装置还包括：

第一判断子模块，用于若所述网络地址是伪装用户代理商，则判断所述访问频率是否大于第三预设阈值；

确定子模块，用于若大于所述第三预设阈值，则确定所述网络地址通过恶意爬虫访问所述目标网站；

确定子模块，用于若不大于所述第三预设阈值，则当所述网络地址不是通过认证爬虫访问所述目标网站时，判断所述目标网站是否允许通过爬虫访问，若不允许，则判断所述访问频率是否大于第四预设阈值，若大于，则确定所述网络地址通过恶意爬虫访问所述目标网站；

其中，所述认证爬虫为搜索引擎爬虫。

7.根据权利要求6所述的恶意爬虫检测装置，其特征在于，所述装置还包括：

第二判断模块，用于判断待检测的所述网络地址是否为外部网络地址；

第一获取模块，还用于若所述网络地址为外部网络地址，则执行获取待检测的网络地址的访问信息的步骤。