[发明专利]网络恶意爬虫识别方法及装置有效
申请号: | 201410743056.6 | 申请日: | 2014-12-05 |
公开(公告)号: | CN104391979B | 公开(公告)日: | 2017-12-19 |
发明(设计)人: | 崔维福;范浩文 | 申请(专利权)人: | 北京国双科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京康信知识产权代理有限责任公司11240 | 代理人: | 李志刚,吴贵明 |
地址: | 100086 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种网络恶意爬虫识别方法及装置。该网络恶意爬虫识别方法包括获取待检测网络地址;获取待检测网络地址对应的用户访问信息;根据对应的用户访问信息中包含目标网络终端信息的待检测网络地址的个数和在预设时间段内通过待检测网络地址访问目标网站的次数计算目标访问比率;判断目标访问比率是否超过预设比率阈值;如果目标访问比率超过预设比率阈值,则确定通过待检测网络地址访问目标网站的行为是恶意爬虫访问行为。通过本发明,解决了对网络恶意爬虫进行识别时准确性差的问题,进而在目标访问比率超过预设比率阈值情况下确定通过待检测网络地址访问目标网站的行为是恶意爬虫访问行为,达到了提高网络恶意爬虫识别的准确性的效果。 | ||
搜索关键词: | 网络 恶意 爬虫 识别 方法 装置 | ||
【主权项】:
一种网络恶意爬虫识别方法,其特征在于,包括:获取待检测网络地址,其中,所述待检测网络地址为满足第一预设条件的网络地址,如果在预设时间段内通过网络地址访问目标网站的次数超过预设次数阈值,则确定所述网络地址满足所述第一预设条件;获取所述待检测网络地址对应的用户访问信息,其中,所述用户访问信息包括访问所述目标网站的网络终端信息,所述网络终端信息包括目标网络终端信息;根据对应的用户访问信息中包含所述目标网络终端信息的待检测网络地址的个数和在预设时间段内通过所述待检测网络地址访问所述目标网站的次数计算目标访问比率;判断所述目标访问比率是否超过预设比率阈值;以及如果所述目标访问比率超过所述预设比率阈值,则确定通过所述待检测网络地址访问所述目标网站的行为是恶意爬虫访问行为,其中,根据对应的用户访问信息中包含所述目标网络终端信息的待检测网络地址的个数和在预设时间段内通过所述待检测网络地址访问所述目标网站的次数计算目标访问比率包括:统计在所述预设时间段内通过所述待检测网络地址访问所述目标网站的次数;判断所述待检测网络地址对应的用户访问信息中是否包含所述目标网络终端信息;如果所述待检测网络地址对应的用户访问信息中包含所述目标网络终端信息,则统计对应的用户访问信息中包含所述目标网络终端信息的待检测网络地址的个数;以及通过以下公式计算所述目标访问比率:S=A/B,其中,S为所述目标访问比率,A为对应的用户访问信息中包含所述目标网络终端信息的待检测网络地址的个数,B为在预设时间段内通过所述待检测网络地址访问所述目标网站的次数。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司,未经北京国双科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201410743056.6/,转载请声明来源钻瓜专利网。