[发明专利]恶意爬虫检测方法、装置、电子设备及存储介质有效
| 申请号： | 201811652954.5 | 申请日： | 2018-12-29 |
| 公开（公告）号： | CN109474640B | 公开（公告）日： | 2021-01-05 |
| 发明（设计）人： | 卢思成;王飞 | 申请（专利权）人： | 奇安信科技集团股份有限公司 |
| 主分类号： | H04L29/06 | 分类号： | H04L29/06 |
| 代理公司： | 中科专利商标代理有限责任公司 11021 | 代理人： | 周天宇 |
| 地址： | 100088 北京市西城区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种恶意爬虫检测方法，应用于计算机技术领域，包括：获取待检测的网络地址的访问信息，访问信息包括网络地址访问目标网站的访问频率，获取访问信息内的访问频率，并判断访问频率是否大于第一预设阈值，当访问频率大于第一预设阈值，则判断网络地址是否为伪装用户代理商，若网络地址不是伪装用户代理商，则在访问信息内查找是否有referer字段，当没有referer字段或referer字段为空时，判断访问频率是否大于第二预设阈值，若是，则确定网络地址通过恶意爬虫访问目标网站。本发明还公开了一种恶意爬虫检测装置、电子设备及存储介质，可提升检测恶意爬虫的时效性。 | ||
| 搜索关键词： | 恶意 爬虫 检测 方法 装置 电子设备 存储 介质 | ||
【主权项】：
1.一种恶意爬虫检测方法，其特征在于，包括：获取待检测的网络地址的访问信息，所述访问信息包括所述网络地址访问目标网站的访问频率；获取所述访问信息内的所述访问频率，并判断所述访问频率是否大于第一预设阈值；当所述访问频率大于所述第一预设阈值，则判断所述网络地址是否为伪装用户代理商；若所述网络地址不是伪装用户代理商，则在所述访问信息内查找是否有referer字段，当没有所述referer字段或所述referer字段为空时，判断所述访问频率是否大于第二预设阈值，若是，则确定所述网络地址通过恶意爬虫访问所述目标网站。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于奇安信科技集团股份有限公司，未经奇安信科技集团股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811652954.5/，转载请声明来源钻瓜专利网。
