[发明专利]网页数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种网页数据处理方法、装置、计算机设备和存储介质。所述方法涉及云技术的云安全服务，所述方法包括：获取响应于网页访问请求生成的原始响应数据，按照字符映射关系对原始响应数据中的敏感内容进行混淆处理，得到与敏感内容对应的混淆内容，获取依据字符编码文件及字符映射关系生成的反混淆字符文件，根据混淆内容和反混淆字符文件生成混淆响应数据，返回响应于网页访问请求的混淆响应数据，混淆响应数据用于指示按照反混淆字符文件确定与混淆内容中的字符对应的反混淆字符后，按照反混淆字符展示原始响应数据中的敏感内容。采用本方法能够有效防止恶意爬虫的攻击，提高信息安全性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种网页数据处理方法、装置、计算机设备和存储介质。

背景技术

网络爬虫是按照特定规则，自动地抓取万维网信息的程序或者脚本。随着计算机技术和互联网技术的飞速发展，出现了恶意爬虫，恶意爬虫在于通过爬取万维网信息来攫取不正当竞争的优势，甚至是牟取不法利益。

在传统的反爬虫方法中，一般是通过分析访问者的访问频率、动作行为等，来判断访问者是否为恶意爬虫，若判定为恶意爬虫，则直接阻断访问。但是，这种方法存在误拦截的可能性。还有一些方法是通过输入验证码等验证方式来提升访问难度。但是，这种方法不仅给正常的访问用户带来不便，恶意爬虫也比较容易绕过各种验证方式。可以看出，传统的反爬虫方法存在反爬虫有效性低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升反爬虫有效性的网页数据处理方法、装置、计算机设备和存储介质。

一种网页数据处理方法，该方法包括：

获取响应于网页访问请求生成的原始响应数据；

按照字符映射关系对原始响应数据中的敏感内容进行混淆处理，得到与敏感内容对应的混淆内容；

获取依据字符编码文件及字符映射关系生成的反混淆字符文件；

根据混淆内容和反混淆字符文件生成混淆响应数据；

返回响应于网页访问请求的混淆响应数据，混淆响应数据用于指示按照反混淆字符文件确定与混淆内容中的字符对应的反混淆字符后，按照反混淆字符展示原始响应数据中的敏感内容。

一种网页数据处理装置，该装置包括：

获取模块，用于获取响应于网页访问请求生成的原始响应数据；

混淆处理模块，用于按照字符映射关系对原始响应数据中的敏感内容进行混淆处理，得到与敏感内容对应的混淆内容；获取依据字符编码文件及字符映射关系生成的反混淆字符文件；根据混淆内容和反混淆字符文件生成混淆响应数据；

返回模块，用于返回响应于网页访问请求的混淆响应数据，混淆响应数据用于指示按照反混淆字符文件确定与混淆内容中的字符对应的反混淆字符后，按照反混淆字符展示原始响应数据中的敏感内容。

在一个实施例中，混淆处理模块还用于：从原始响应数据中提取敏感内容；查询字符映射关系，获得与敏感内容中的字符对应的混淆字符；按照混淆字符替换敏感内容中的相应字符后，得到与敏感内容对应的混淆内容。

在一个实施例中，混淆处理模块还用于：从原始响应数据中查找敏感内容标识字段；将敏感内容标识字段标注的内容作为敏感内容。

在一个实施例中，混淆处理模块还用于：基于预设的原始字符映射关系，生成本次混淆处理对应的动态字符映射关系；按照动态字符映射关系，对原始响应数据中的敏感内容进行混淆处理，得到与敏感内容对应的混淆内容。

在一个实施例中，混淆处理模块还用于：获取本次混淆处理对应的随机因子；按照随机因子调整原始字符映射关系，得到本次混淆处理对应的动态字符映射关系。

在一个实施例中，混淆处理模块还用于：获取网页访问请求的请求时间；确定与请求时间对应的动态随机因子；根据动态随机因子对原始字符映射关系进行调整，得到本次混淆处理对应的动态字符映射关系。