[发明专利]基于BS架构的反爬虫方法、装置、设备及存储介质在审
申请号: | 202111683453.5 | 申请日: | 2021-12-31 |
公开(公告)号: | CN114444079A | 公开(公告)日: | 2022-05-06 |
发明(设计)人: | 余文珣;余斯聪;钟英南;张钦杨;郭艺钊;刘少燕 | 申请(专利权)人: | 广东安创信息科技开发有限公司 |
主分类号: | G06F21/56 | 分类号: | G06F21/56;H04L9/40;H04L67/60 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 许羽冬 |
地址: | 510000 广东省广州市越秀*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 bs 架构 爬虫 方法 装置 设备 存储 介质 | ||
1.一种基于BS架构的反爬虫方法,其特征在于,包括:
获取访问行为信息和浏览器用户信息,所述访问行为信息为浏览器向服务器发送访问请求时的行为信息;
根据所述访问行为信息和所述浏览器用户信息,确定所述访问请求的访问代价数据和访问效益数据;
根据所述访问代价数据和所述访问效益数据,确定满足预设访问约束条件的目标访问行为指标信息;
根据所述目标访问行为指标信息,确定所述访问请求对应的目标反爬虫决策信息,所述目标反爬虫决策信息用于对所述访问请求进行阻断决策或放行决策。
2.如权利要求1所述的基于BS架构的反爬虫方法,其特征在于,所述根据所述访问行为信息和所述浏览器用户信息,确定所述访问请求的访问代价数据和访问效益数据数,包括:
根据所述浏览器用户信息,确定浏览器用户的代价参数和效益参数;
根据所述访问行为信息和所述代价参数,确定所述浏览器用户的访问代价数据;
根据所述访问行为信息和所述效益参数,确定所述浏览器用户的访问效益数据。
3.如权利要求1所述的基于BS架构的反爬虫方法,其特征在于,所述根据所述访问代价数据和所述访问效益数据,确定满足预设访问约束条件的目标访问行为指标信息,包括:
根据所述访问代价数据和所述访问效益数据,确定所述访问请求的访问约束函数;
利用多种线性算法,根据所述访问约束函数,生成满足预设访问约束条件的多个初始访问行为指标信息;
利用遗传算法,对多个所述初始访问行为指标信息进行结合迭代,直至达到预设迭代终止条件,得到所述目标访问行为指标信息。
4.如权利要求3所述的基于BS架构的反爬虫方法,其特征在于,所述利用多种线性算法,根据所述访问约束函数,生成满足预设访问约束条件的多个初始行为指标信息,包括:
利用单纯形法,确定满足预设访问约束条件时的多个行为指标信息;
将所述行为指标信息作为单纯形法的可行基,对所述访问约束函数进行非基化操作,得到单纯形矩阵;
若所述单纯形矩阵的检验数不为非负数,则更换所述可行基的基变量和非基变量,并对所述访问约束函数进行非基化操作,直至所述单纯形矩阵的检验数为非负数,得到所述初始访问行为指标信息。
5.如权利要求3所述的基于BS架构的反爬虫方法,其特征在于,所述利用多种线性算法,根据所述访问约束函数,生成满足预设访问约束条件的多个初始访问行为指标信息,包括:
利用内点法,对所述访问约束函数进行迭代,得到迭代结果;
基于所述迭代结果,更新所述访问约束函数的参数,直至所述迭代结果满足预设访问约束条件,得到所述初始访问行为指标信息。
6.如权利要求3所述的基于BS架构的反爬虫方法,其特征在于,所述利用遗传算法,对多个所述初始访问行为指标信息进行结合迭代,直至达到预设迭代终止条件,得到所述目标访问行为指标信息,包括:
将多个所述初始访问行为指标信息作为遗传群体的染色体;
利用所述遗传算法,对所述遗传群体进行进化迭代;
根据所述访问约束函数,计算在进化迭代时所述遗传群体中所有染色体的目标适应度;
当所述进化迭代次数达到预设进化迭代次数时,停止迭代,并将所述目标适应度最大的染色体所对应的初始访问行为指标信息作为所述目标访问行为指标信息。
7.如权利要求1所述的基于BS架构的反爬虫方法,其特征在于,所述根据所述目标访问行为指标信息,确定所述访问请求对应的目标反爬虫决策信息,包括:
将所述访问行为信息与所述目标访问行为指标信息进行匹配;
若所述访问行为信息与所述目标访问行为指标信息匹配,则判定所述目标反爬虫决策信息用于对所述访问请求进行放行决策;
若所述访问行为信息与所述目标访问行为指标信息不匹配,则判定所述目标反爬虫决策信息用于对所述访问请求进行阻断决策。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东安创信息科技开发有限公司,未经广东安创信息科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111683453.5/1.html,转载请声明来源钻瓜专利网。