[发明专利]一种反网络爬虫的蜜罐设计与实现方法

说明书

本发明涉及一种反网络爬虫的蜜罐设计与实现方法，所述一种反网络爬虫的蜜罐设计与实现方法,基于隐藏字段的反爬虫方法,可以有效的阻止爬虫的非法访问，避免误伤普通的正常用户访问，可以有效的减轻服务器访问压力。

技术领域

本发明涉及一种蜜罐设计与实现方法，更具体地说，涉及一种反网络爬虫的蜜罐设计与实现方法。

背景技术

随着互联网的发展，目前互联网上的爬虫量日益增加，爬虫会伪造用户行为，不断的访问网络服务，这样会增大的网络服务器的访问压力，尤其是当爬虫的请求大于网络服务器所能承载的最大访问量时，会拖垮正常的网络服务，并且爬虫还会非法的获取信息，对个人隐私安全带来很大的风险。

现有技术方案之一是对后台对访问进行统计，如果单个IP访问超过阈值，予以封锁。基于后台对访问进行统计，如果单个IP访问超过阈值，予以封锁的方案虽然效果还不错，但是其实有两个缺陷，一个是非常容易误伤普通用户，因为用户确实存在高频率使用同一个网站服务的可能性，如果网络阈值设置不好，就会误伤普通用户；另一个就是，更换IP地址的成本小，几十块钱甚至有可能买到几十万个IP，或者通过一些网络软件很容易伪装ip地址，躲过封锁。所以总体来说是比较亏的。

现有技术方案之二是基于用户请求的Header反爬虫的策略。基于用户请求的Header反爬虫时,由于正常用户访问网站时是通过浏览器访问的，所以目标网站通常会在收到请求时校验Header中的User-Agent字段，如果不是携带正常的User-Agent信息的请求便无法通过请求。还有一部分网站为了防盗链，还会校验请求Header中的Referer字段。如果遇到了这类反爬虫机制，可以直接在自己写的爬虫中添加Header，将浏览器的User-Agent复制到爬虫的Header中；另外通过对请求的抓包分析，将Referer值修改为目标网站域名，就能很好的绕过。

发明内容

本发明要解决的技术问题在于，针对现有技术中的缺陷，提供一种反网络爬虫的蜜罐设计与实现方法,解决目前网络非搜索引擎的网络爬虫的非法访问问题。

本发明解决其技术问题所采用的技术方案是：构造一种反网络爬虫的蜜罐设计与实现方法,基于隐藏字段的反爬虫方法,可以有效的阻止爬虫的非法访问。

在本发明所述的反网络爬虫的蜜罐设计与实现方法中，所述反网络爬虫的蜜罐设计与实现方法步骤为：

S1.首先在网站页面的源代码中添加一些提前设计好的文本字段,根据当前时间戳+特定的时间间隔8个小时计算的新时间戳，设定<inputtype＝hiddenname＝m_tsvaule＝1495940330>,<input class＝”_56gb_4u9z_5ruq”name＝l_tkvaule＝78a6d9e35ec647c185ea2bcb7a77e8f2>，此为后台服务器计算的唯一值；

S2.对以上不同元素通过不同的方式对用户隐藏：

m_ts:1495940330,是一个隐含字段，l_tk:78a6d9e35ec647c185ea2bcb7a77e8f2将元素右移50000像素并隐藏滚动条。

S3.服务器根据网络提交的请求表单，判断是否是非法的爬虫访问；如果是非法访问，则把该用户的ip的地址和用户id放入黑名单，禁止改用户再访问我们的网络服务；如果是正常的用户请求，则允许该用户继续访问我们的网络服务。。

S4.这种类似的手法不仅可以应用到网站的表单上，还可以应用到连接，图片，文件，以及一些可以被网络爬虫读取，但是普通用户在浏览器上却看不到的内容上面。访问者如果访问了网站上的一个“隐含”内容，就会触发服务器脚本封杀这个用户。

实施本发明的一种反网络爬虫的蜜罐设计与实现方法，具有以下有益效果：基于这种蜜罐技术的反爬虫思想可以有效的阻止爬虫的非法访问，避免误伤普通的正常用户访问，可以有效的减轻服务器访问压力。