[发明专利]一种智能反屏蔽网络爬虫系统在审
| 申请号： | 201610546451.4 | 申请日： | 2016-07-12 |
| 公开（公告）号： | CN106210050A | 公开（公告）日： | 2016-12-07 |
| 发明（设计）人： | 李让剑 | 申请（专利权）人： | 安徽天达网络科技有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08;H04L12/24 |
| 代理公司： | 北京和信华成知识产权代理事务所(普通合伙) 11390 | 代理人： | 胡剑辉 |
| 地址： | 230000 安徽省合肥市*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种智能反屏蔽网络爬虫系统，包括智能代理模块、用户行为模拟模块、信息爬取模块、信息整理储存模块、信息分析单元、屏蔽规则库、代理信息库、用户帐号库、用户行为规则库，其中所述方法包括智能代理模块通过主动触发模式判断是否启用IP代理；用户行为模拟模块通过模拟人的上网行为来规避目标网站的屏蔽机制，从而获得访问目标网站信息的权限。本发明的发明点在于主动触发的屏蔽判断机制，智能处理代理处理模块，严密的用户行为模拟，从而达到反屏蔽的效果，可以采集到所有正常用户可以访问的公开信息。 | ||
| 搜索关键词： | 一种 智能 屏蔽 网络 爬虫 系统 | ||
【主权项】：
一种智能反屏蔽网络爬虫系统，其特征在于：包括智能代理模块(111)、用户行为模拟模块(112)、信息爬取模块(113)、信息整理储存模块(114)、信息分析单元(120)、屏蔽规则库(115)、代理信息库(116)、用户帐号库(117)、用户行为规则库(118)；所述的屏蔽规则库(115)储存网站的屏蔽规则；所述的代理信息库(116)负责储存IP代理站点的信息，包含用户名、密码、IP地址、协议；所述的用户帐号库(117)储存用户登录目标网站的用户帐号信息，包含用户名、密码、网址；所述的用户行为规则库(118)用于储存用户行为规则的关键指标，包含访问频率、单页面滞留时间、定单用户最长滞留时间，该指标为一组阀值，具体值由管理员设定。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于安徽天达网络科技有限公司，未经安徽天达网络科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610546451.4/，转载请声明来源钻瓜专利网。
