[发明专利]一种爬虫行为检测方法及装置有效
| 申请号： | 201710619702.1 | 申请日： | 2017-07-26 |
| 公开（公告）号： | CN109145179B | 公开（公告）日： | 2019-04-19 |
| 发明（设计）人： | 陈峰;从磊 | 申请（专利权）人： | 北京数安鑫云信息技术有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/955 |
| 代理公司： | 北京名华博信知识产权代理有限公司 11453 | 代理人： | 白莹;李冬梅 |
| 地址： | 100015 北京市朝阳区酒仙*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种爬虫行为检测方法及装置，此方法包括：获取用户的日志信息，从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫。本发明可以有效提高爬虫检测准确度和检测效率，保护网络信息内容。 | ||
| 搜索关键词： | 爬虫 日志信息 信息模式 行为检测 用户访问 统一资源定位器URL 准确度 保护网络 情况判断 信息内容 预设时段 检测 | ||
【主权项】：
1.一种爬虫行为检测方法，其特征在于，包括：获取用户的日志信息，从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫，其中，所述确定URL的信息模式包括：根据URL分隔符将URL划分为不同部分，从各部分中提取出关键字，将各关键字组合为信息模式，所述在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫包括以下方式中的一种：方式一，在预设时段内，确定不同信息模式的个数，所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，判定此用户为爬虫；方式二，在预设时段内，确定不同信息模式的个数，所述用户访问的所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，并且对应URL个数最多的信息模式所对应的URL的个数与所述预设时段内此用户访问的所有URL的个数比例大于预设比例时，判定此用户为爬虫。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京数安鑫云信息技术有限公司，未经北京数安鑫云信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710619702.1/，转载请声明来源钻瓜专利网。
- 上一篇：一种关系图处理方法及装置
- 下一篇：一种基于增量聚类的企业热点事件挖掘方法
