[发明专利]一种基于图神经网络的网络爬虫检测方法、系统及装置

说明书

本发明公开了一种基于图神经网络的网络爬虫检测方法、系统及装置，其中，所述方法包括：获取网络会话样本，所述网络会话样本中包括访问的各个资源；提取所述网络会话样本中各个所述资源的资源特征，所述资源特征包括所述资源在网站中体现的固有特征和/或用户访问所述资源的会话特征；基于提取的所述资源特征，构建所述网络会话样本的资源图，并利用预设图算法对构建的所述资源图进行训练，以通过训练得到的分类模型检测网络爬虫。本申请提供的技术方案，能够提高网络爬虫的检测效率。

技术领域

本发明涉及互联网技术领域，特别涉及一种基于图神经网络的网络爬虫检测方法、系统及装置。

背景技术

随着互联网技术的不断发展，网络爬虫的泛滥也成为互联网中日趋严重的问题，据统计，有些网站一半以上的流量都来自网络爬虫。目前，针对网络爬虫的检测方法也在不断完善，例如，可以利用统计学特征对网站的流量进行分析，从而识别出流量中的网络爬虫。此外，还可以借助于深度学习的算法，将用户的访问请求转换为时间序列的问题进行分析，从而识别出哪些访问行为其实是网络爬虫发起的。

然而，现有的网络爬虫的检测方法，通常只能对固定时间长度的数据进行分析，如果数据的序列过长，则需要对数据进行分割之后再进行处理，这样无疑会降低网络爬虫的检测效率。

发明内容

本申请的目的在于提供一种基于图神经网络的网络爬虫检测方法、系统及装置，能够提高网络爬虫的检测效率。

为实现上述目的，本申请一方面提供一种基于图神经网络的网络爬虫检测方法，所述方法包括：获取网络会话样本，所述网络会话样本中包括访问的各个资源；提取所述网络会话样本中各个所述资源的资源特征，所述资源特征包括所述资源在网站中体现的固有特征和/或用户访问所述资源的会话特征；基于提取的所述资源特征，构建所述网络会话样本的资源图，并利用预设图算法对构建的所述资源图进行训练，以通过训练得到的分类模型检测网络爬虫。

为实现上述目的，本申请另一方面还提供一种基于图神经网络的网络爬虫检测系统，所述系统包括：会话样本获取单元，用于获取网络会话样本，所述网络会话样本中包括访问的各个资源；特征提取单元，用于提取所述网络会话样本中各个所述资源的资源特征，所述资源特征包括所述资源在网站中体现的固有特征和/或用户访问所述资源的会话特征；资源图训练单元，用于基于提取的所述资源特征，构建所述网络会话样本的资源图，并利用预设图算法对构建的所述资源图进行训练，以通过训练得到的分类模型检测网络爬虫。

为实现上述目的，本申请另一方面还提供一种基于图神经网络的网络爬虫检测装置，所述基于图神经网络的网络爬虫检测装置包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的基于图神经网络的网络爬虫检测方法。

由上可见，本申请一个或者多个实施方式提供的技术方案，可以针对网络会话样本中的资源进行分析，从而判断网络会话样本是否由网络爬虫发起的。具体地，可以提取待分析的各个资源的资源特征，该资源特征除了可以包括资源在网站中的固有特征，还可以包含用户访问该资源时产生的会话特征。针对提取的资源特征，可以构建该网络会话样本的资源图。通过预设图算法对构建的资源图进行训练，可以训练出基于图神经网络的分类模型。后续，利用该分类模型，可以便捷地检测出由网络爬虫发起的网络会话。由于采用了图的形式，因此可以很好地兼顾长文本和短文本，输入分类模型的数据不再有上限和下限的限制，进而提高了网络爬虫的检测效率。

附图说明

为了更清楚地说明本发明实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施方式中网络爬虫的检测方法流程图；