[发明专利]网页处理方法、装置、电子设备以及存储介质有效
申请号: | 202111612601.4 | 申请日: | 2021-12-27 |
公开(公告)号: | CN114218516B | 公开(公告)日: | 2023-03-10 |
发明(设计)人: | 刘伟;张博;林赛群 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/958 | 分类号: | G06F16/958;G06F16/9536 |
代理公司: | 北京市汉坤律师事务所 11602 | 代理人: | 姜浩然;吴丽丽 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网页 处理 方法 装置 电子设备 以及 存储 介质 | ||
1.一种网页处理方法,所述方法包括:
获取网页的页面内容,其中,所述页面内容包括响应于触发操作而加载的第一页面内容以及默认加载的第二页面内容,所述第二页面内容包括所述页面中的静态内容以及默认渲染内容,所述第二页面内容包括第三页面内容和第四页面内容,其中,所述第三页面内容具有非可视属性,并且其中,所述第四页面内容具有可视属性;
分别基于所述第一页面内容、所述第三页面内容和所述第四页面内容,获取相应的第一特征向量、第三特征向量和第四特征向量;
基于与所述第一页面内容相应的第一预设权重、与所述第三页面内容相应的第三预设权重和与所述第四页面内容相应的第四预设权重,对所述第一特征向量、所述第三特征向量和所述第四特征向量进行加权处理,以获取所述网页的页面内容特征,其中,所述第三预设权重大于所述第一预设权重,所述第一预设权重大于所述第四预设权重;以及
将所述页面内容特征输入作弊网页识别模型,以获取所述作弊网页识别模型输出的作弊网页识别结果。
2.根据权利要求1所述的方法,还包括:
获取所述第四页面内容中的第五页面内容和第六页面内容,其中,所述第五页面内容的颜色和所述第五页面内容相应的背景颜色相同,并且其中,所述第六页面内容的颜色和所述第六页面内容相应的背景颜色不同;以及
基于与所述第五页面内容相应的第五预设权重和与所述第六页面内容相应的第六预设权重,更新所述页面内容特征,其中,所述第五预设权重大于所述第六预设权重。
3.根据权利要求1-2中任一项所述的方法,其中,所述页面内容包括下述中的至少一项:文本、链接、图片、音频和视频。
4.一种作弊网页识别模型的训练方法,所述方法包括:
获取样本数据集,其中,所述样本数据集中的每个样本数据包括样本网页的页面内容以及类别标签,其中,所述页面内容包括响应于触发操作而加载的第一页面内容以及默认加载的第二页面内容,所述第二页面内容包括所述页面中的静态内容以及默认渲染内容,所述第二页面内容包括第三页面内容和第四页面内容,其中,所述第三页面内容具有非可视属性,所述第四页面内容具有可视属性,并且其中,所述类别标签指示所述样本网页是否为作弊网页;
初始化所述作弊网页识别模型的多个参数;以及
对于每个样本数据,执行如下操作:
分别基于所述第一页面内容、所述第三页面内容和所述第四页面内容,获取相应的第一特征向量、第三特征向量和第四特征向量;
基于与所述第一页面内容相应的第一预设权重、与所述第三页面内容相应的第三预设权重和与所述第四页面内容相应的第四预设权重,对所述第一特征向量、所述第三特征向量和所述第四特征向量进行加权处理,以获取所述样本网页的页面内容特征,其中,所述第三预设权重大于所述第一预设权重,所述第一预设权重大于所述第四预设权重;
将所述页面内容特征输入到所述作弊网页识别模型,以得到输出值,所述输出值为所述样本网页是否为作弊网页的识别结果;以及
基于所述类别标签和所述输出值,调整所述作弊网页识别模型的多个参数。
5.根据权利要求4所述的方法,其中,对于每个样本数据,所述第四页面内容包括第五页面内容和第六页面内容,其中,所述第五页面内容的颜色和所述第五页面内容相应的背景颜色相同,其中,所述第六页面内容的颜色和所述第六页面内容相应的背景颜色不同,并且其中,所述获取所述样本网页的页面内容特征包括:
基于与所述第五页面内容相应的第五预设权重和与所述第六页面内容相应的第六预设权重,更新所述页面内容特征,其中,所述第五预设权重大于所述第六预设权重。
6.根据权利要求4-5中任一项所述的方法,其中,所述页面内容包括下述中的至少一项:文本、链接、图片、音频和视频。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111612601.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种流延机的收卷装置
- 下一篇:一种芬戈莫德杂质的制备方法