[发明专利]基于用户行为埋点的爬虫识别方法及系统

摘要

本发明公开了一种基于用户行为埋点的爬虫识别方法及系统，其中方法包括：S1、客户端接收用户发起的访问请求，并将访问请求向后端服务系统异步发送；S2、后端服务系统在接收到访问请求后，同步用户的访问日志，访问日志包括用户的访问行为数据；S3、后端服务系统通过规则引擎聚合访问行为数据；S4、后端服务系统根据聚合后的访问行为数据判断用户是否属于爬虫，若是则根据访问日志聚合出用于标识用户为爬虫的爬虫特征数据，然后将爬虫特征数据通过消息队列异步推送至所述客户端中的爬虫列表；S5、客户端根据爬虫列表响应访问请求。本发明通过同步访问日志，并聚合日志中的访问行为数据后识别爬虫，提高爬虫识别率和准确率。

主权项

1.一种基于用户行为埋点的爬虫识别方法，其特征在于，包括步骤：S1、客户端接收用户发起的访问请求，并将所述访问请求向后端服务系统异步发送；S2、所述后端服务系统在接收到所述访问请求后，同步所述用户的访问日志，所述访问日志包括所述用户的访问行为数据，所述访问行为数据包括所述用户的身份信息、访问页面、访问频次和访问轨迹之中的至少一种数据，所述用户的身份信息是指能表征用户具有唯一身份的数据；S3、所述后端服务系统通过规则引擎聚合所述访问行为数据，所述规则引擎预设有所述访问行为数据的聚合规则；S4、所述后端服务系统根据聚合后的所述访问行为数据判断所述用户是否属于爬虫，若是则根据所述访问日志聚合出所述用户的所述身份信息，并将聚合后的所述身份信息作为标识所述用户为爬虫的爬虫特征数据，然后将所述爬虫特征数据通过消息队列异步推送至所述客户端中的爬虫列表；S5、所述客户端根据所述爬虫列表响应所述访问请求。