[发明专利]基于用户行为埋点的爬虫识别方法及系统

权利要求书

1.一种基于用户行为埋点的爬虫识别方法，其特征在于，包括步骤：

S1、客户端接收用户发起的访问请求，并将所述访问请求向后端服务系统异步发送；

S2、所述后端服务系统在接收到所述访问请求后，同步所述用户的访问日志，所述访问日志包括所述用户的访问行为数据，所述访问行为数据包括所述用户的身份信息、访问页面、访问频次和访问轨迹之中的至少一种数据，所述用户的身份信息是指能表征用户具有唯一身份的数据；

S3、所述后端服务系统通过规则引擎聚合所述访问行为数据，所述规则引擎预设有所述访问行为数据的聚合规则；

S4、所述后端服务系统根据聚合后的所述访问行为数据判断所述用户是否属于爬虫，若是则根据所述访问日志聚合出所述用户的所述身份信息，并将聚合后的所述身份信息作为标识所述用户为爬虫的爬虫特征数据，然后将所述爬虫特征数据通过消息队列异步推送至所述客户端中的爬虫列表；

S5、所述客户端根据所述爬虫列表响应所述访问请求；

在步骤S3中，所述后端服务系统在聚合所述访问行为数据时，还根据所述访问行为数据命中所述聚合规则的数量进行评分，并在评分完成后将评分结果通过所述消息队列异步推送至所述客户端；

步骤S5、所述客户端将所述评分结果结合所述爬虫列表判断所述用户属于爬虫的风险等级，并根据所述风险等级处理所述访问请求，所述处理包括拦截所述访问请求、降级服务所述访问请求或者放行所述访问请求，所述降级服务是指对所述访问请求返回预设的降级数据；其中，

降级数据为针对可疑用户的访问请求而预设的少量的真实的响应数据，或者为针对所述可疑用户的访问请求而预设的虚假的响应数据；

所述用户属于爬虫的风险等级为无风险时，则放行所述访问请求；所述用户属于爬虫的风险等级为一般时，即所述用户属于可疑用户时，则降级服务所述访问请求；所述用户属于爬虫的风险等级为严重时，则拦截所述访问请求。

2.如权利要求1所述的基于用户行为埋点的爬虫识别方法，其特征在于，在步骤S5中，当拦截所述访问请求后，所述客户端还向所述用户发送验证码以验证所述用户的身份。

3.如权利要求1所述的基于用户行为埋点的爬虫识别方法，其特征在于，步骤S1中，所述客户端通过kafka系统将所述访问请求向后端服务系统异步发送。

4.如权利要求1所述的基于用户行为埋点的爬虫识别方法，其特征在于，步骤S2中，所述后端服务系统通过搜索服务器同步所述访问日志，所述搜索服务器在同步所述访问日志后输出所述访问行为数据。