[发明专利]基于用户访问行为的反爬虫方法及系统

说明书

本申请提供一种基于用户访问行为的反爬虫方法及系统，方法包括：获取目标用户针对目标网页的历史访问记录，该目标用户为当前发出针对目标网页的访问请求的用户；根据目标用户对应的历史访问记录和/或访问请求，基于预设的第一规则确定目标用户的第一爬虫可疑等级；若第一爬虫可疑等级满足预设条件，则根据目标用户的历史访问记录，基于预设的第二规则确定目标用户的第二爬虫可疑等级；在第一爬虫可疑等级和第二爬虫可疑等级中选取较高级别的爬虫等级作为该目标用户当前的目标爬虫可疑等级。本申请能够有效保证正常用户访问行为，并能够有效提高网络爬虫的识别准确性，提高网络爬虫的识别效率，进而能够有效且准确地阻断网络爬虫爬取相关信息。

技术领域

本申请涉及信息安全技术领域，具体涉及一种基于用户访问行为的反爬虫方法及系统。

背景技术

随着互联网及移动互联网的快速发展，无论是互联网公司还是各传统行业都通过网络提供了海量且有价值的数据，这些数据以网站或手机APP服务的形式，公布于互联网上，方便全世界每一个人访问。因此，如何确保在网络环境中公开数据的独有性，不被竞争对手及别有用心的人通过网络爬虫获取是一个重要的研究课题。

现有的反爬虫技术中，一种主流的实现方法是通过为单一ip设置访问次数限制。但是这种方式存在如下缺陷：如果访问次数限制设置过高，可能无法达到防止网络爬虫的目的，如果访问次数限制设置过低，很可能影响正常的用户访问。另一种流行的方式则是在服务器端对一定信息进行加密，客户端上通过JavaScript解密和计算，重新上送服务器端，服务器端校验此值与预期是否相符，来判断客户端是否为爬虫。但是客户端上的JavaScript代码是公开的，极易被人获取和破解，爬虫能够通过计算或内置浏览器引擎来绕过此方式。另外，使用验证码进行人机交互来确认对方的身份也是一种反爬虫的惯用手段。然而频繁和繁琐的验证码输入，会降低用户的使用体验。也就是说，无论是上述哪一种反爬虫技术，均存在无法同时保证正常用户访问行为、网络爬虫识别准确性和识别效率的问题。

因此，亟需一种既不影响正常用户访问行为，又能快速却准确地识别网络爬虫，且难以被爬虫通过技术手段绕过，进而阻断爬虫爬取相关信息的反爬虫方法。

发明内容

针对现有技术中的问题，本申请提供一种基于用户访问行为的反爬虫方法及系统，能够有效保证正常用户访问行为，并能够有效提高网络爬虫的识别准确性，提高网络爬虫的识别效率，进而能够有效且准确地阻断网络爬虫爬取相关信息。同时，本申请有如下优势：识别爬虫的方法完全运行在服务器端，爬虫判定结果根据历史数据动态生成，爬虫无法获取判断规则并通过技术手段绕过。

为解决上述技术问题，本申请提供以下技术方案：

第一方面，本申请提供一种基于用户访问行为的反爬虫方法，包括：

获取目标用户针对目标网页的历史访问记录，其中，该目标用户为当前发出针对所述目标网页的访问请求的用户；

根据所述目标用户对应的历史访问记录和/或访问请求，基于预设的第一规则确定所述目标用户的第一爬虫可疑等级；

若所述第一爬虫可疑等级满足预设条件，则根据所述目标用户对应的历史访问记录，基于预设的第二规则确定所述目标用户的第二爬虫可疑等级，其中，所述第一爬虫可疑等级和第二爬虫可疑等级均为预设的多个爬虫等级中的一个；

在所述第一爬虫可疑等级和第二爬虫可疑等级中选取较高级别的爬虫等级作为该目标用户当前的目标爬虫可疑等级。

进一步地，在所述基于预设的第一规则确定所述目标用户的第一爬虫可疑等级之后，还包括：

若所述目标用户的第一爬虫可疑等级为所述爬虫等级中的最高级，则直接确定当前目标用户的目标爬虫可疑等级为该爬虫等级中的最高级；