[发明专利]一种基于网站流量日志数据与优化谱聚类算法的恶意爬虫检测方法有效
| 申请号： | 202010636291.9 | 申请日： | 2020-07-04 |
| 公开（公告）号： | CN111831881B | 公开（公告）日： | 2023-03-21 |
| 发明（设计）人： | 周亚东;岳天一;刘晓明;沈超 | 申请（专利权）人： | 西安交通大学 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F18/2337 |
| 代理公司： | 西安智大知识产权代理事务所 61215 | 代理人： | 段俊涛 |
| 地址： | 710049 陕*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种基于网站流量日志数据与优化谱聚类算法的恶意爬虫检测方法，包括：预处理日志数据，过滤非页面请求，从请求记录中筛选相关字段用于爬虫检测；为每个cookie生成页面请求序列，基于页面请求序列，计算任意两cookie间行为相似度；构建以cookie为节点的完全图，任意两cookie节点间边的权重等于cookie间行为相似度；使用优化谱聚类算法对图进行社区划分；设计社区特征，并设置阈值进行爬虫社区识别；使用核密度估计算法对剩余未发现的爬虫cookie进行挖掘。本发明能够为网站监控爬虫、制定拦截规则、保护公司数据财产与用户隐私等提供技术支持；本发明基于易于获取的流量日志数据实现爬虫检测，具有较高的实际应用价值。 | ||
| 搜索关键词： | 一种 基于 网站 流量 日志 数据 优化 谱聚类 算法 恶意 爬虫 检测 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安交通大学，未经西安交通大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010636291.9/，转载请声明来源钻瓜专利网。
