[发明专利]一种保护网站资源的反爬方法

说明书

本发明公开了一种保护网站资源的反爬方法，该方法用户第一次Http请求访问资料时，网站服务器返回一系列资源文件；第二次Http请求申请访问资料的Token，网站服务器返回加密的Token；用户使用网站服务器返回的资源文件中包含的代码对Token进行解密和往Cookie中设置Token；使用解密的Token生成发出第三个Http请求的代码访问资料；网站服务器对Token进行合法性校验，通过后向用户返回访问资料的有效数据。本反顾不过通过加密的方式，让爬虫的访问效率比人的随机访问效率更低，迫使爬虫放弃抓取行为，从而从另一个维度保证了数据的独特性；同其他方案结合起来能达到最好的反爬效果。

技术领域

本发明涉及一种反爬方法，具体涉及一种保护网站资源的反爬方法，属于互联网技术领域。

背景技术

为保障网站上的数据具有独特性，网站管理员并不希望自己的数据被搜索引擎的网络爬虫抓取，也不希望数据被竞争对手的爬虫抓走用做竞品分析。所以希望能有一种技术，既不影响普通客户对网站的访问，又能避免自己的网站资源被竞争对手大范围的抓走。

当前反爬虫的常用技术有以下几种：

1、检测IP地址的访问频率；

2、检测用户行为是否存在周期性；

3、检测访问请求是否包含合法浏览器头。

这些方法能应对普通的爬虫行为，但均有简单的方法绕过，比如：

1、通过频繁更换IP地址来规避检测IP地址的访问频率的反爬方法；

2、通过在访问行为里面加随机行为进行干扰来规避检测用户行为是否存在周期性的反爬方法；

3、通过伪造浏览器头来规避检测访问请求是否包含合法浏览器头的反爬方法。

因此，研制一种有效弥补现有反爬技术的不足，通过加密的方式，让爬虫的访问效率比人的随机访问效率更低，从而从另一个维度保证了数据的独特性的反爬方法是非常必要的，并且该发明也有重要的应用前景。

发明内容

本发明针对现有技术的弊端，公开了一种通过加密的方式，让爬虫的访问效率比人的随机访问效率更低，从而从另一个维度保证了数据的独特性的反爬方法。

为了实现上述目标，本发明所采用的技术方案是：

一种保护网站资源的反爬方法，包括以下步骤：

S1、用户第一次Http请求访问资料时，网站服务器返回一系列资源文件，执行步骤S2；

S2、第二次Http请求申请访问资料的Token，网站服务器返回加密的Token，执行步骤S3；

S3、用户使用所述步骤S1中网站服务器返回的资源文件中包含的代码对所述步骤S2中网站服务器返回的Token进行解密和往Cookie中设置Token，执行步骤S4；

S4、使用解密的Token生成发出第三个Http请求的代码访问资料，执行步骤S5；

S5、网站服务器对Token进行合法性校验，通过后向用户返回访问资料的有效数据。

前述的保护网站资源的反爬方法，所述步骤S1中，网站服务器返回的资源文件中包含的用于解密所述步骤S2中Token的代码由JavaScript编写。

前述的保护网站资源的反爬方法，所述步骤S2中，Token在使用一次后失效。

前述的保护网站资源的反爬方法，所述步骤S2中，Token的加密方法是，将Token和往Cookie中设置Token的Javascript语句全部用ASCII码对应的十六进制数表示，然后在这些ASCII代码中每隔M个字符加入随机字符，再每隔N个字符加入随机字符。