[发明专利]一种爬虫行为识别方法和装置

说明书

本申请提出一种爬虫行为识别方法和装置，包括：校验请求浏览目标页面的浏览器的窗口信息是否满足预设条件，当所述窗口信息满足预设条件时，则校验成功，允许用户浏览目标页面，当所述窗口信息不满足预设条件时，则校验失败，认定本次请求为爬虫行为；跳转到目标页面后，验证所述目标页面的登录信息和校验时间信息，当所述登录信息和所述校验时间信息都验证通过时，授权本次请求；当所述登录信息或所述校验时间信息至少之一验证不通过时，认定本次请求为爬虫行为。通过校验浏览器窗口大小进行客户端识别，并通过二次校验进行授权认证，防止绕开验证进行信息的爬取行为。

技术领域

本发明涉及防爬领域，具体涉及一种爬虫行为识别方法和装置。

背景技术

网络爬虫是一种自动获取网页内容的程序。在网页产品中，经常会出现有网络爬虫抓取页面内容而对网页的正常访问流量造成影响的问题。因此，需要对网络爬虫请求进行识别，以方便对网络爬虫进行过滤和屏蔽。

目前识别网络爬虫的方法，一般从三个角度出发：

a.限制网络请求的频率，锁定发起请求的IP地址；一般程序发出的请求频率远高于人正常的网页浏览频率；nginx，waf,防火墙等防御手段基于此；

b.判断请求中是否包含正常浏览网页的行为特征；一般可以通过请求中的参数判断是否是人的正常浏览行为；比如对header字段的校验，隐藏域的使用；

c.判断请求中是否包含正常浏览网页的行为所不应该包含的特征；比如蜜罐，隐藏域的一些使用。

针对相关技术的三种方式，主要有以下三个缺陷：

a.限制ip请求频率的方式一般误判率比较高，此外，这种防爬手段通过代理方式可以较为轻松的绕过；

b.一些基于浏览器内核的工具可以模拟浏览器的部分行为，构造请求方面和真的浏览器相似度极高；

c.一些精细化的爬虫可以伪装浏览器的各项参数，也可以扫描隐藏域，从而绕开蜜罐等防爬方式。

相关技术根本的目的在于区分人和机器的行为；但无论多么精巧的防爬手段，都只能提高爬虫的技术门槛，并不能100％的杜绝爬虫行为。

发明内容

本发明提供一种爬虫行为识别方法和装置，防止相关技术中绕开验证进行信息爬取的行为。

为了实现上述发明目的，本发明采取的技术方案如下：

一种爬虫行为识别方法，包括：

校验请求浏览目标页面的浏览器的窗口信息是否满足预设条件，当所述窗口信息满足预设条件时，则校验成功，允许用户浏览目标页面，当所述窗口信息不满足预设条件时，则校验失败，认定本次请求为爬虫行为；

跳转到目标页面后，验证所述目标页面的登录信息和校验时间信息，当所述登录信息和所述校验时间信息都验证通过时，授权本次请求；当所述登录信息或所述校验时间信息至少之一验证不通过时，认定本次请求为爬虫行为。

可选地，所述方法之前还包括：

对请求浏览的目标页面进行登录验证，当登录验证成功时，则允许用户浏览目标页面，当登录验证不成功时，跳转至登录页面。

可选地，校验本次请求浏览目标页面的浏览器的窗口信息是否满足预设条件包括：

校验请求浏览的目标页面的浏览器窗口的长度信息和宽度是否大于或者等于预设窗口大小，并验证请求浏览的目标页面的浏览器窗口的位置信息是否处于预设范围。

可选地，验证所述目标页面的登录信息和校验时间信息包括：

校验用户输入的用户名和密码，并校验服务器发送给浏览器请求的时间和浏览器向服务器回复请求的时间差是否满足预设阈值。