[发明专利]一种网站服务器爬虫识别方法和装置

摘要

本发明属于互联网领域，特别涉及网站服务器爬虫识别方法和装置，流程为依据用户IP地址对访问用户进行标记；对用户访问请求进行划分，将用户访问请求中请求资源、请求域名、子域名、访问路径相同的用户访问请求归为相同类型的访问请求；依据每类访问请求的资源类型划分出核心资源访问请求；依据访问用户的核心资源访问请求的请求时间连续性、请求内容连续性、访问持续时间、访问频度进行爬虫访问判断；将判断为爬虫访问的用户进行处理。本发明通过多种手段有效识别用户的爬虫行为，实现成本低，与网站业务耦合度较低，可移植性性强；独立于网站业务服务器逻辑，易于升级更新，运维成本和技术风险较低。

主权项

一种网站服务器爬虫识别方法，其特征在于，包括以下步骤：S1：依据用户IP地址对访问用户进行标记；S2：对用户访问请求进行划分，将用户访问请求中请求资源、请求域名、子域名、访问路径相同的用户访问请求归为相同类型的访问请求；S3：依据每类访问请求的资源类型划分出核心资源访问请求；S4：对访问用户的核心资源访问请求进行连续性判断，对非连续性访问判断为非爬虫访问，对连续性访问继续进行下一步；S5：依据访问用户的核心资源访问请求的内容连续性、访问持续时间、访问频度进行爬虫访问判断；S6：将判断为爬虫访问的用户进行处理。