[发明专利]网页数据处理方法、装置、计算机设备和存储介质

权利要求书

1.一种网页数据处理方法，所述方法包括：

获取网页行为数据，根据预设规则检测所述网页行为数据中是否存在异常行为数据；

当所述网页行为数据中存在所述异常行为数据时，获取所述异常行为数据对应的网页访问数据；

根据所述网页访问数据提取访问特征，将所述访问特征输入到已训练的爬虫识别模型中，得到爬虫识别结果；

当所述爬虫识别结果是所述网页访问数据为爬虫访问数据时，得到所述网页访问数据中的爬虫标识，根据所述爬虫标识从所述网页行为数据中得到对应的爬虫网页行为数据；

根据所述爬虫网页行为数据和所述网页行为数据得到目标网页行为数据。

2.根据权利要求1所述的方法，其特征在于，所述获取网页行为数据，根据预设规则检测所述网页行为数据中是否存在异常行为数据，包括：

获取第一时间段对应的第一网页行为数据和第二时间段对应的第二网页行为数据，根据所述第一网页行为数据和所述第二网页行为数据得到增量行为数据；

当所述增量行为数据超过预设增量行为数据时，所述第二时间段对应的第二网页行为数据为异常行为数据。

3.根据权利要求1所述的方法，其特征在于，所述获取网页行为数据，根据预设规则检测所述网页行为数据中是否存在异常行为数据，包括：

获取各个历史时间段的网页行为数据，根据所述各个历史时间段的网页行为数据计算得到历史数据增长率；

获取目标时间段的网页行为数据，根据所述目标时间段的网页行为数据计算得到目标数据增长率，比较所述目标数据增长率和所述历史数据增长率；

当所述目标数据增长率超过所述历史数据增长率时，所述目标时间段的网页行为数据为异常行为数据。

4.根据权利要求1所述的方法，其特征在于，在所述根据所述爬虫网页行为数据和所述网页行为数据得到目标网页行为数据之后，还包括：

将所述爬虫标识和所述爬虫标识对应的网页访问数据关联存储到预设黑名单数据库；

则在所述当所述网页行为数据存在异常行为数据时，获取所述异常行为数据对应的网页访问数据之后，还包括：

获取所述网页访问数据中的访问标识，在所述预设黑名单数据库中查找所述访问标识；

当所述预设黑名单数据库中存在所述访问标识时，根据所述访问标识从所述网页行为数据中得到对应的爬虫网页行为数据。

5.根据权利要求1所述的方法，其特征在于，所述已训练的爬虫识别模型的生成步骤，包括：

获取历史爬虫访问数据和历史目标访问数据，根据所述历史爬虫访问数据提取到历史爬虫访问特征和历史爬虫标签，根据所述历史目标访问数据提取到历史目标访问特征和历史目标标签；

将所述历史爬虫访问特征和历史目标访问特征作为循环神经网络的输入，将所述历史爬虫标签和所述历史目标标签作为所述循环神经网络的标签进行训练，当达到预设条件时，得到所述已训练的爬虫识别模型。

6.根据权利要求1所述的方法，其特征在于，在所述根据所述爬虫网页行为数据和所述网页行为数据得到目标网页行为数据之后，还包括：

根据所述爬虫网页行为数据和所述目标网页行为数据得到爬虫点击行为坐标点和目标点击行为坐标点；

根据所述爬虫点击行为坐标点和所述目标点击行为坐标点生成网页点击行为展示图，将所述网页行为展示图发送到管理终端进行展示。