[发明专利]一种应用服务器的爬虫检测方法和识别网络模型

权利要求书

1.一种应用服务器的爬虫检测方法，其特征在于，包括以下步骤：

根据相同的用户字段IpId和用户字段UserAgent进行分组，对任一分组对应的日志按时间先后顺序排列，以时间间隔T₁进行划分，并生成对应的会话控制id；

对任一会话控制id对应的日志按时间T₂进行重采样，得到时序特征；

采用滑动获取时序特征，并组成训练集和测试集的样本数据；

对训练集的所述样本数据进行Z-Score标准化处理，得到n个二维特征数据；根据用户字段UserAgent对二维特征数据进行标签；

构建LSTM的识别网络模型，将带标签的二维特征数据输入至LSTM的识别网络模型，并结合二分类交叉熵损失函数进行训练，得到训练后的网络模型；

将测试集的样本数据输入至网络模型，以检测出爬虫和非爬虫。

2.根据权利要求1所述的一种应用服务器的爬虫检测方法，其特征在于，所述训练集和测试集的占比为4:1。

3.根据权利要求1所述的一种应用服务器的爬虫检测方法，其特征在于，所述LSTM的识别网络模型包括从前至后依次连接的输入层、LSTM网络层、四个卷积层、滤波器和输出层。

4.根据权利要求3所述的一种应用服务器的爬虫检测方法，其特征在于，所述输入层的输入的时序窗口长度为30，且时序特征数量为22。

5.根据权利要求3所述的一种应用服务器的爬虫检测方法，其特征在于，所述LSTM网络层的时序窗口长度为30，且时序特征数量为64。

6.根据权利要求3所述的一种应用服务器的爬虫检测方法，其特征在于，四个所述卷积层的卷积窗口均为2、步长均为1，且四个所述卷积层的空洞卷积的膨胀率分别为2、4、8和16。

7.根据权利要求3所述的一种应用服务器的爬虫检测方法，其特征在于，四个所述卷积层的输出的时序窗口长度为30，且时序特征数量为16。

8.根据权利要求3所述的一种应用服务器的爬虫检测方法，其特征在于，所述滤波器的时序窗口长度为30，且时序特征数量为1。

9.根据权利要求3所述的一种应用服务器的爬虫检测方法，其特征在于，所述输出层为时序窗口长度为30的全连接层；所述全连接层内设置有sigmoid激活函数。

10.一种运用于权利要求1～9任一项所述的应用服务器的爬虫检测方法的识别网络模型，其特征在于，包括从前至后依次连接的输入层、LSTM网络层、四个卷积层、滤波器和输出层；所述输入层的输入的时序窗口长度为30，且时序特征数量为22；所述LSTM网络层的时序窗口长度为30，且时序特征数量为64；所述滤波器的时序窗口长度为30，且时序特征数量为1；四个所述卷积层的卷积窗口均为2、步长均为1，且四个所述卷积层的空洞卷积的膨胀率分别为2、4、8和16；四个所述卷积层的输出的时序窗口长度为30，且时序特征数量为16；所述输出层为时序窗口长度为30的全连接层；所述全连接层内设置有sigmoid激活函数。