[发明专利]基于BS架构的反爬虫方法、装置、设备及存储介质

说明书

本申请公开了一种基于BS架构的反爬虫方法、装置、设备及存储介质，通过获取访问行为信息和浏览器用户信息，并确定访问请求的访问代价数据和访问效益数据，以能够量化访问请求对服务器带来得实际效益和实际代价；以及根据访问代价数据和访问效益数据，确定满足预设访问约束条件的目标访问行为指标信息，从而能够利用实际代价和实际效益，智能化确定访问请求的目标访问行为指标信息，有效规避人为设置带来的主观性而导致误判的问题；最后根据目标访问行为指标信息，确定访问请求对应的目标反爬虫决策信息，以利用目标反爬虫决策信息对访问请求进行阻断决策或放行决策，降低反爬虫识别的误判率，提高反爬虫识别的准确度。

技术领域

本申请涉及信息安全技术领域，尤其涉及一种基于BS架构的反爬虫方法、装置、设备及存储介质。

背景技术

爬虫是一种按照预定规则爬取万维网信息的程序或脚本，其能够有效地提取并利用万维网信息。但是恶意爬虫会增大Web服务器的运行负荷，而严重影响Web服务器性能，导致Web服务器难以为正常用户提供服务。为此通过反爬虫技术对恶意爬虫进行检测识别，进而对恶意爬虫进行防御。

目前，有相关技术通过人为设置检测指标，当浏览器访问Web服务器的行为满足某项检测指标时，则该访问行为判定为爬虫。例如，浏览器在单位时间内访问Web服务器的次数达到预设次数，则判定为爬虫。但是正常浏览器用户也可能因为某些原因而不断刷新访问请求的情况，而该正常浏览器用户在实际上不应当被判定为爬虫。可见目前反爬虫识别结果存在较高的误判率。

发明内容

本申请提供了一种基于BS架构的反爬虫方法、装置、设备及存储介质，以解决当前反爬虫识别结果存在较高误判率的技术问题。

为了解决上述技术问题，本申请实施例提供了一种基于BS架构的反爬虫方法，包括：

获取访问行为信息和浏览器用户信息，访问行为信息为浏览器向服务器发送访问请求时的行为信息；

根据访问行为信息和浏览器用户信息，确定访问请求的访问代价数据和访问效益数据；

根据访问代价数据和访问效益数据，确定满足预设访问约束条件的目标访问行为指标信息；

根据目标访问行为指标信息，确定访问请求对应的目标反爬虫决策信息，目标反爬虫决策信息用于对访问请求进行阻断决策或放行决策。

本实施例通过获取访问行为信息和浏览器用户信息，并确定访问请求的访问代价数据和访问效益数据，以能够量化访问请求对服务器带来得实际效益和实际代价；以及根据访问代价数据和访问效益数据，确定满足预设访问约束条件的目标访问行为指标信息，从而能够利用实际代价和实际效益，智能化确定访问请求的目标访问行为指标信息，有效规避人为设置带来的主观性而导致误判的问题；最后根据目标访问行为指标信息，确定访问请求对应的目标反爬虫决策信息，以利用目标反爬虫决策信息对访问请求进行阻断决策或放行决策，降低反爬虫识别的误判率，提高反爬虫识别的准确度。

在一实施例中，根据访问行为信息和浏览器用户信息，确定访问请求的访问代价数据和访问效益数据数，包括：

根据浏览器用户信息，确定浏览器用户的代价参数和效益参数；

根据访问行为信息和代价参数，确定浏览器用户的访问代价数据；

根据访问行为信息和效益参数，确定浏览器用户的访问效益数据。

在一实施例中，根据访问代价数据和访问效益数据，确定满足预设访问约束条件的目标访问行为指标信息，包括：

根据访问代价数据和访问效益数据，确定访问请求的访问约束函数；

利用多种线性算法，根据访问约束函数，生成满足预设访问约束条件的多个初始访问行为指标信息；