[发明专利]一种爬虫识别拦截方法、设备、存储介质在审
申请号: | 202010413172.7 | 申请日: | 2020-05-15 |
公开(公告)号: | CN111614652A | 公开(公告)日: | 2020-09-01 |
发明(设计)人: | 沈汉标;王妙玉;童威云;吴宁泉;李思龙 | 申请(专利权)人: | 广东科徕尼智能科技有限公司 |
主分类号: | H04L29/06 | 分类号: | H04L29/06 |
代理公司: | 广州市越秀区哲力专利商标事务所(普通合伙) 44288 | 代理人: | 成婵娟 |
地址: | 511434 广东省广州*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 爬虫 识别 拦截 方法 设备 存储 介质 | ||
1.一种爬虫识别拦截方法,其特征在于,包括以下步骤:
获取用户访问网站的IP地址;
获取过滤器的IP列表,并根据所述IP列表判断是否存在该IP地址;若过滤器的IP列表不存在该IP地址,则允许用户访问该网站;若过滤器的IP列表中存在该IP地址,则判断所述该IP地址是否为封锁IP;
获取所述过滤器的已封锁的IP地址列表,判断所述已封锁的IP地址列表中是否存在所述IP地址,若存在所述IP地址,则该IP地址为封锁IP,拒绝该IP地址访问网站;若已封锁的IP地址列表中不存在所述IP地址,则该IP地址不是封锁IP,允许该IP地址访问网站;
获取所述IP地址访问网站URL,根据所述网站URL判断所述IP地址是否触发陷阱URL;若所述IP地址触发所述陷阱URL,则拒绝该IP地址访问网站;若所述IP地址不触发所述陷阱URL,则允许所述IP地址访问网站。
2.如权利要求1所述的一种爬虫识别拦截方法,其特征在于,若所述IP地址触发所述陷阱URL,还包括以下步骤:
将所述IP地址添加至已封锁的IP地址列表,并拒绝该IP地址后续访问网站。
3.如权利要求2所述的一种爬虫识别拦截方法,其特征在于,若所述IP地址触发所述陷阱URL,还包括以下步骤:
将所述IP地址添加至已封锁的IP地址列表,并拒绝该IP地址后续访问网站,返回错误警告信息。
4.如权利要求1所述的一种爬虫识别拦截方法,其特征在于,所述陷阱URL位于网站页面的HTML文本信息中。
5.如权利要求1所述的一种爬虫识别拦截方法,其特征在于,所述过滤器为布隆过滤器。
6.一种设备,其特征在于,其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1~5任意一项所述的一种爬虫识别拦截方法的步骤。
7.一种存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被执行时实现权利要求1~5任意一项所述的一种爬虫识别拦截方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东科徕尼智能科技有限公司,未经广东科徕尼智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010413172.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种滚动俯仰偏航太阳敏感器定姿角的计算方法
- 下一篇:桥梁检修用辅助装置