[发明专利]网页处理方法、装置、电子设备以及存储介质

说明书

本公开提供了一种网页处理方法、装置、电子设备以及存储介质，涉及计算机技术领域，尤其涉及计算机网络技术、搜索引擎技术和人工智能技术领域。实现方案为：获取网页的页面内容；基于与第一页面内容相应的第一预设权重和与第二页面内容相应的第二预设权重，对第一页面内容和第二页面内容进行加权处理，以获取网页的页面内容特征；以及基于页面内容特征，确定网页是否为作弊网页。

技术领域

本公开涉及计算机技术领域，尤其涉及计算机网络技术、搜索引擎技术和人工智能技术，具体涉及一种网页处理的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

搜索引擎抓取大量网页页面，并对这些页面过滤，进而将过滤后的页面收录入索引库之中。在用户向搜索引擎发送查询请求后，搜索引擎根据请求筛选出相关页面，再通过各种手段对这些页面进行排序，并基于排序结果将相关页面全部或部分展现给用户。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种网页处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种网页处理方法，包括：获取网页的页面内容，其中，页面内容包括响应于触发操作而加载的第一页面内容以及默认加载的第二页面内容；基于与第一页面内容相应的第一预设权重和与第二页面内容相应的第二预设权重，对第一页面内容和第二页面内容进行加权处理，以获取网页的页面内容特征，其中，第一预设权重大于第二预设权重；以及基于页面内容特征，确定网页是否为作弊网页。

根据本公开的另一方面，提供了一种作弊网页识别模型的训练方法，包括：获取样本数据集，其中，样本数据集中的每个样本数据包括样本网页的页面内容以及类别标签，其中，页面内容包括响应于触发操作而加载的第一页面内容以及默认加载的第二页面内容，并且其中，类别标签指示样本网页是否为作弊网页；初始化作弊网页识别模型的多个参数；以及对于每个样本数据，执行如下操作：基于与第一页面内容相应的第一预设权重和与第二页面内容相应的第二预设权重，对第一页面内容和第二页面内容进行加权处理，以获取样本网页的页面内容特征，其中，第一预设权重大于第二预设权重；将页面内容特征输入到作弊网页识别模型，以得到输出值，输出值为样本网页是否为作弊网页的识别结果；以及基于类别标签和输出值，调整作弊网页识别模型的多个参数。

根据本公开的另一方面，提供了一种网页处理装置，包括：第一获取单元，被配置为获取网页的页面内容，其中，页面内容包括响应于触发操作而加载的第一页面内容以及默认加载的第二页面内容；第二获取单元，被配置为基于与第一页面内容相应的第一预设权重和与第二页面内容相应的第二预设权重，对第一页面内容和第二页面内容进行加权处理，以获取网页的页面内容特征，其中，第一预设权重大于第二预设权重；以及确定单元，被配置为基于页面内容特征，确定网页是否为作弊网页。

根据本公开的另一方面，提供了一种作弊网页识别模型的训练装置，包括：第五获取单元，被配置为获取样本数据集，其中，样本数据集中的每个样本数据包括样本网页的页面内容以及类别标签，其中，页面内容包括响应于触发操作而加载的第一页面内容以及默认加载的第二页面内容，并且其中，类别标签指示样本网页是否为作弊网页；初始化单元，被配置为初始化作弊网页识别模型的多个参数；以及执行单元，被配置为对于每个样本数据，执行下述子单元的操作，其中，执行单元包括：获取子单元，被配置为基于与第一页面内容相应的第一预设权重和与第二页面内容相应的第二预设权重，对第一页面内容和第二页面内容进行加权处理，以获取样本网页的页面内容特征，其中，第一预设权重大于第二预设权重；输入子单元，被配置为将页面内容特征输入到作弊网页识别模型，以得到输出值，输出值为样本网页是否为作弊网页的识别结果；以及调整子单元，被配置为基于类别标签和输出值，调整作弊网页识别模型的多个参数。