[发明专利]网页数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种网页数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取网页行为数据，根据预设规则检测网页行为数据中是否存在异常行为数据；当网页行为数据中存在异常行为数据时，获取异常行为数据对应的网页访问数据；根据网页访问数据提取访问特征，将访问特征输入到已训练的爬虫识别模型中，得到爬虫识别结果；当爬虫识别结果是网页访问数据为爬虫访问数据时，得到网页访问数据中的爬虫标识，根据爬虫标识从网页行为数据中得到对应的爬虫网页行为数据；根据爬虫网页行为数据和网页行为数据得到目标网页行为数据。采用本方法能够提高得到目标网页行为数据的准确性。

技术领域

本申请涉及互联网技术领域，特别是涉及一种网页数据处理方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，用户通过互联网浏览网页页面的过程中，通过挖掘用户在网页中的行为数据，为用户提供更好的互联网服务。然而，随着爬虫技术的发展，网络爬虫越来越泛滥，当网络爬虫在爬取互联网数据时，会模拟用户行为，比如，模拟用户登录，登录之后爬取数据。从而导致挖掘到的网页行为数据不够准确。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高得到网页行为数据准确性的网页数据处理方法、装置、计算机设备和存储介质。

一种网页数据处理方法，所述方法包括：

获取网页行为数据，根据预设规则检测网页行为数据中是否存在异常行为数据；

当网页行为数据中存在异常行为数据时，获取异常行为数据对应的网页访问数据；

根据网页访问数据提取访问特征，将访问特征输入到已训练的爬虫识别模型中，得到爬虫识别结果；

当爬虫识别结果是网页访问数据为爬虫访问数据时，得到网页访问数据中的爬虫标识，根据爬虫标识从网页行为数据中得到对应的爬虫网页行为数据；

根据爬虫网页行为数据和网页行为数据得到目标网页行为数据。

在其中一个实施例中，获取网页行为数据，根据预设规则检测网页行为数据中是否存在异常行为数据，包括：

获取第一时间段对应的第一网页行为数据和第二时间段对应的第二网页行为数据，根据第一网页行为数据和第二网页行为数据得到增量行为数据；

当增量行为数据超过预设增量行为数据时，第二时间段对应的第二网页行为数据为异常行为数据。

在其中一个实施例中，获取网页行为数据，根据预设规则检测网页行为数据中是否存在异常行为数据，包括：

获取各个历史时间段的网页行为数据，根据各个历史时间段的网页行为数据计算得到历史数据增长率；

获取目标时间段的网页行为数据，根据目标时间段的网页行为数据计算得到目标数据增长率，比较目标数据增长率和历史数据增长率；

当目标数据增长率超过历史数据增长率时，目标时间段的网页行为数据为异常行为数据。

在其中一个实施例中，在根据爬虫网页行为数据和网页行为数据得到目标网页行为数据之后，还包括：

将爬虫标识和爬虫标识对应的网页访问数据关联存储到预设黑名单数据库；

则在当网页行为数据存在异常行为数据时，获取异常行为数据对应的网页访问数据之后，还包括：

获取网页访问数据中的访问标识，在预设黑名单数据库中查找访问标识；

当预设黑名单数据库中存在访问标识时，根据访问标识从网页行为数据中得到对应的爬虫网页行为数据。

在其中一个实施例中，已训练的爬虫识别模型的生成步骤，包括：