[发明专利]一种网络数据自动获取器攻击检测的方法和装置

说明书

本说明书一个或多个实施例提供一种网络数据自动获取器攻击检测的方法和装置，所述方法应用于服务器，所述服务器维护有报警阈值，所述方法包括：获取所述服务器在第一时间段内接收到的第一流量样本集以及在第二时间段内接收到的第二流量样本集；计算第一流量样本集和第二流量样本集分别在至少一个特征维度下的特征距离，并基于所述至少一个特征维度下的特征距离确定流量异常指数；生成衰减因子，并按照所述衰减因子对所述流量异常指数进行调整，所述衰减因子正相关于第一流量样本集的样本数和/或第二流量样本集的样本数；在调整后的流量异常指数超过所述报警阈值的情况下，确定第一时间段或第二时间段内存在网络数据自动获取器攻击。

技术领域

本说明书一个或多个实施例涉及互联网技术领域，尤其涉及一种网络数据自动获取器攻击检测的方法和装置。

背景技术

网络数据自动获取器又称网络爬虫，是一种按照一定的规则自动地抓取互联网信息的程序或者脚本。然而，网络爬虫的泛滥会构成爬虫攻击，导致服务器承受大量的访问请求，损耗服务器的资源，给正常用户的访问带来了阻碍，因此如何检测爬虫攻击是一个亟待解决的技术问题。

一方面，传统的爬虫攻击的检测关注访问流量在报文层面或会话层面的特征，例如检测IP地址的访问频率、检测请求头格式、检测cookie(储存在用户本地终端上的数据)等方式，然而这些都是通过先总结爬虫流量的静态特征，然后判断接收到的特定流量是否符合这些静态特征的规则检测方式，虽然可以在规则角度上识别是否遭遇了爬虫攻击，但由于缺乏整体性视角且爬虫流量的静态特征难以穷尽，因此很容易导致漏检。另一方面，虽然也可以通过检测流量波动的方式检测是否可能遭遇了爬虫攻击，但传统的检测流量波动的方式无法区分流量波动是由爬虫攻击导致还是正常访问导致，因此简单地把流量波动的现象归结为爬虫攻击，将很容易导致误检。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种网络数据自动获取器攻击检测的方法和装置。

为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

根据本说明书一个或多个实施例的第一方面，提出了一种网络数据自动获取器攻击检测的方法，应用于服务器，所述服务器维护有报警阈值，所述方法包括：

获取所述服务器在第一时间段内接收到的第一流量样本集以及在第二时间段内接收到的第二流量样本集；

计算第一流量样本集和第二流量样本集分别在至少一个特征维度下的特征距离，并基于所述至少一个特征维度下的特征距离确定流量异常指数；

生成衰减因子，并按照所述衰减因子对所述流量异常指数进行调整，所述衰减因子正相关于第一流量样本集的样本数和/或第二流量样本集的样本数；

在调整后的流量异常指数超过所述报警阈值的情况下，确定第一时间段或第二时间段内存在网络数据自动获取器攻击。

可选的，所述计算第一流量样本集和第二流量样本集分别在至少一个特征维度下的特征距离，包括：

基于所述至少一个特征维度中任一特征维度对应的分类策略，对第一流量样本集包含的流量样本进行分类，获取第一流量样本集包含的流量样本在各类别中所占的比例并以此生成第一流量样本集在所述任一特征维度下的样本比例分布；

基于所述任一特征维度对应的分类策略，对第二流量样本集包含的流量样本进行分类，获取第二流量样本集包含的流量样本在各类别中所占的比例并以此生成第二流量样本集在所述任一特征维度下的样本比例分布；

将第一流量样本集在所述任一特征维度下的样本比例分布与第二流量样本集在所述任一特征维度下的样本比例分布之间的群体稳定性指标，确定为第一流量样本集和第二流量样本集在所述任一特征维度下的特征距离。

可选的，所述任一特征维度对应的分类策略包括：