[发明专利]基于用户行为埋点的爬虫识别方法及系统

说明书

本发明公开了一种基于用户行为埋点的爬虫识别方法及系统，其中方法包括：S1、客户端接收用户发起的访问请求，并将访问请求向后端服务系统异步发送；S2、后端服务系统在接收到访问请求后，同步用户的访问日志，访问日志包括用户的访问行为数据；S3、后端服务系统通过规则引擎聚合访问行为数据；S4、后端服务系统根据聚合后的访问行为数据判断用户是否属于爬虫，若是则根据访问日志聚合出用于标识用户为爬虫的爬虫特征数据，然后将爬虫特征数据通过消息队列异步推送至所述客户端中的爬虫列表；S5、客户端根据爬虫列表响应访问请求。本发明通过同步访问日志，并聚合日志中的访问行为数据后识别爬虫，提高爬虫识别率和准确率。

技术领域

本发明涉及网络爬虫识别技术领域，特别涉及一种基于用户行为埋点的爬虫识别方法及系统。

背景技术

网站每天都在面对爬虫抓取信息，造成网站的一手信息被其他网站大量窃取，且无节制的访问会引起前端服务器的性能出现瓶颈，影响底层接口服务器的性能，瞬间进来的流量对网站的网络链接和服务性能等冲击很大，带来严重后果，网络爬虫对网站订单也无任何帮助，还会造成网站转化偏低，影响网站运营人员对系统功能的评估。目前，根据请求中IP(网络之间互连的协议)地址访问频次的模式已经不能有效地识别及拦截新型网络爬虫。

发明内容

本发明要解决的技术问题是为了克服现有技术中根据请求中IP地址访问频次的模式不能有效地识别并拦截新型网络爬虫的缺陷，提供一种基于用户行为埋点的爬虫识别方法及系统。

本发明是通过下述技术方案来解决上述技术问题：

本发明提供一种基于用户行为埋点的爬虫识别方法，其特点是，包括步骤：

S1、客户端接收用户发起的访问请求，并将所述访问请求向后端服务系统异步发送；

S2、所述后端服务系统在接收到所述访问请求后，同步所述用户的访问日志，所述访问日志包括所述用户的访问行为数据，所述访问行为数据包括所述用户的身份信息、访问页面、访问频次和访问轨迹之中的至少一种数据，所述用户的身份信息是指能表征用户具有唯一身份的数据；

S3、所述后端服务系统通过规则引擎聚合所述访问行为数据，所述规则引擎预设有所述访问行为数据的聚合规则；

S4、所述后端服务系统根据聚合后的所述访问行为数据判断所述用户是否属于爬虫，若是则根据所述访问日志聚合出所述用户的所述身份信息，并将聚合后的所述身份信息作为标识所述用户为爬虫的爬虫特征数据，然后将所述爬虫特征数据通过消息队列异步推送至所述客户端中的爬虫列表；

S5、所述客户端根据所述爬虫列表响应所述访问请求。

较佳地，在步骤S3中，所述后端服务系统在聚合所述访问行为数据时，还根据所述访问行为数据命中所述聚合规则的数量进行评分，并在评分完成后将评分结果通过所述消息队列异步推送至所述客户端；

步骤S5、所述客户端将所述评分结果结合所述爬虫列表判断所述用户属于爬虫的风险等级，并根据所述风险等级处理所述访问请求，所述处理包括拦截所述访问请求、降级服务所述访问请求或者放行所述访问请求，所述降级服务是指对所述访问请求返回预设的降级数据。

较佳地，在步骤S5中，当拦截所述访问请求后，所述客户端还向所述用户发送验证码以验证所述用户的身份。

较佳地，步骤S1中，所述客户端通过kafka系统(一种高吞吐量的分布式发布订阅消息系统)将所述访问请求向后端服务系统异步发送。

较佳地，步骤S2中，所述后端服务系统通过搜索服务器同步所述访问日志，所述搜索服务器在同步所述访问日志后输出所述访问行为数据。