[发明专利]一种爬虫行为检测方法及装置

说明书

本发明公开了一种爬虫行为检测方法及装置，此方法包括：获取用户的日志信息，从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫。本发明可以有效提高爬虫检测准确度和检测效率，保护网络信息内容。

技术领域

本发明涉及互联网技术领域，尤其涉及一种爬虫行为检测方法及装置。

背景技术

网络爬虫技术是从一个或多个网页的URL(Uniform Resource Locator，统一资源定位符)开始，获得初始网页上的URL，抓取网页信息的技术。

现有技术中检测爬虫的方法多是通过设置阈值的方法实现的，即统计同一时刻客户端的IP地址访问服务器端的IP地址时的会话连接数，若访问时的会话连接数超过了设置的阈值，则认为该IP地址对应的客户端正在通过网络爬虫抓取网页。

现有的方法中，当客户端的IP地址正常访问服务器IP地址时，也会导致会话连接数超过阈值，所以现有的方法容易造成错误检测。

发明内容

为了解决上述技术问题，本发明提供了一种爬虫行为检测方法及装置。

本发明提供的爬虫行为检测方法，包括：

获取用户的日志信息，

从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；

在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫。

上述爬虫行为检测方法还具有以下特点：

所述确定URL的信息模式包括：根据URL分隔符将URL划分为不同部分，从各部分中提取出关键字，将各关键字组合为信息模式。

上述爬虫行为检测方法还具有以下特点：

所述根据URL分隔符将URL划分为不同部分包括根据URL分隔符将URL划分为以下部分：协议部分、网站名称部分、路径部分、目标部分；

所述协议部分的关键字包括协议类型；所述网站名称部分的关键字包括服务器类型、域名名称；所述路径部分的关键字包括：各级目录的标识；所述目标部分的关键字包括：操作类型、目标文件的后缀类型。

上述爬虫行为检测方法还具有以下特点：

所述根据日志信息分析用户访问的统一资源定位器URL确定用户访问的URL的信息模式包括：统计所述用户在预设历史时段内访问的URL，按分隔符提取URL各位置的字符串，统计各字符串的历史出现次数；确定用户访问的URL的信息模式时，按分隔符提取URL各位置的字符串，确定各字符串的历史出现次数，按出现次数排序，选择字符串排序中出现次数最大的前N个字符串作为关键字，将选择出的关键字组合为此URL的信息模式，N为正整数。

上述爬虫行为检测方法还具有以下特点：

所述在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫包括以下方式中的一种：

方式一，在预设时段内，确定不同信息模式的个数，所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，判定此用户为爬虫；

方式二，在预设时段内，确定不同信息模式的个数，所述用户访问的所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，并且对应URL个数最多的信息模式所对应的URL的个数与所述预设时段内此用户访问的所有URL的个数比例大于预设比例时，判定此用户为爬虫。

本发明还提供了一种爬虫行为检测装置，包括：

日志信息获取模块，用于获取用户的日志信息；