[发明专利]一种利用人类行为学进行反爬虫的方法在审
申请号: | 201811434529.9 | 申请日: | 2018-11-28 |
公开(公告)号: | CN109561086A | 公开(公告)日: | 2019-04-02 |
发明(设计)人: | 代波 | 申请(专利权)人: | 四川长虹电器股份有限公司 |
主分类号: | H04L29/06 | 分类号: | H04L29/06 |
代理公司: | 四川省成都市天策商标专利事务所 51213 | 代理人: | 郭会 |
地址: | 621000 四*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种利用人类行为学进行反爬虫的方法,包括:收集统一业务访问日志数据;根据日志数据访问行为的时间特性和空间特性进行数据建模分析,得到业务访问行为规律的时间分布与空间分布的关系图;个体和群体特征计算以及动态生成规则;匹配规则识别爬虫;将反爬虫拦截程序安装在业务部署服务器中,接收爬虫用户信息,通过动态管理宿主机的IPTables信息,拦截爬虫用户。本发明通过建模分析了业务访问行为规律,得到个体和群体用户数据,将系统运行日志信息做聚合运算处理,通过动态规则匹配,可有效判定访问来源是否是爬虫行为,大大提高爬虫行为识别的准确性并加以防护,可以更好的保护数据资产。 | ||
搜索关键词: | 爬虫 人类行为 行为规律 业务访问 拦截 系统运行日志 业务访问日志 程序安装 动态管理 动态规则 动态生成 访问行为 建模分析 空间分布 空间特性 匹配规则 群体特征 群体用户 日志数据 时间分布 时间特性 数据建模 数据资产 行为识别 业务部署 用户信息 有效判定 运算处理 宿主机 服务器 聚合 匹配 防护 访问 分析 统一 | ||
【主权项】:
1.一种利用人类行为学进行反爬虫的方法,其特征在于,包括:步骤A:收集统一业务访问日志数据;步骤B:根据日志数据访问行为的时间特性和空间特性进行数据建模分析,得到业务访问行为规律的时间分布与空间分布的关系图;步骤C:个体和群体特征计算以及动态生成规则;步骤D:匹配规则识别爬虫;步骤E:将反爬虫拦截程序安装在业务部署服务器中,接收爬虫用户信息,通过动态管理宿主机的IPTables信息,拦截爬虫用户。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于四川长虹电器股份有限公司,未经四川长虹电器股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811434529.9/,转载请声明来源钻瓜专利网。