[发明专利]网络爬虫识别方法、装置、计算机设备和存储介质

权利要求书

1.一种网络爬虫识别方法，所述方法包括：

接收多个资源访问请求，每个资源访问请求中包含请求端标识和资源标识；

提取相同请求端标识所对应的资源标识，形成每个请求端的资源标识集合；

将所述资源标识集合中的所有资源标识和预设的资源结构树中的资源节点进行匹配，将与所述资源标识相匹配的资源节点作为访问节点；

若一个访问节点的父节点不是访问节点，将所述访问节点标记为孤立的访问节点；

当存在孤立的访问节点时，判定所述资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端。

2.根据权利要求1所述的方法，其特征在于，在所述将所述资源标识集合中的所有资源标识和预设的资源结构树中的资源节点进行匹配，将与所述资源标识相匹配的资源节点作为访问节点之后，还包括：

当不存在孤立的访问节点时，统计每个访问节点与资源标识集合中的资源标识匹配的匹配次数；

获取每个访问节点的节点权重；

根据每个访问节点的匹配次数和相应的节点权重进行计算，得到与所述资源标识集合对应的综合权重；

当所述综合权重小于预设权重时，则判定所述资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端。

3.根据权利要求2所述的方法，其特征在于，所述获取每个访问节点的节点权重，包括：

计算访问节点所对应的子页面资源与所述访问节点的父节点所对应的父页面资源的页面相似度；

统计所述子页面资源中包含的无关资源的第一数量，和所述子页面资源中包含的更新资源的第二数量，所述更新资源为父页面资源中不包含的无关资源；

根据所述页面相似度、第一数量和第二数量进行计算，得到每个访问节点的节点权重。

4.根据权利要求3所述的方法，其特征在于，所述无关资源包括图片资源、JS脚本资源及广告资源中的至少一种。

5.根据权利要求1所述的方法，其特征在于，在所述将所述资源标识集合中的所有资源标识和预设的资源结构树中的资源节点进行匹配，将与所述资源标识相匹配的资源节点作为访问节点之后，还包括：

当不存在孤立的访问节点时，统计每个访问节点与资源标识集合中的资源标识匹配的匹配次数；

当存在所述匹配次数大于预设次数的访问节点时，则判定所述资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端。

6.根据权利要求1至5任意一项所述的方法，其特征在于，在所述判定所述资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端之后，还包括：

发送身份验证页面至所述网络爬虫所对应的请求端进行身份验证。

7.根据权利要求1至5任意一项所述的方法，其特征在于，在所述判定所述资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端之后，还包括：

判断所述网络爬虫所对应的请求端标识是否为白名单爬虫标识；

若是，则通过所述网络爬虫发起的资源访问请求；

若否，则拒绝所述网络爬虫发起的资源访问请求。

8.一种网络爬虫识别装置，其特征在于，所述装置包括：

资源访问请求接收模块，用于接收多个资源访问请求，每个资源访问请求中包含请求端标识和资源标识；

资源标识提取模块，用于提取相同请求端标识所对应的资源标识，形成每个请求端的资源标识集合；

资源节点匹配模块，用于将所述资源标识集合中的所有资源标识和预设的资源结构树中的资源节点进行匹配，将与所述资源标识相匹配的资源节点作为访问节点；若一个访问节点的父节点不是访问节点，将所述访问节点标记为孤立的访问节点；

网络爬虫识别模块，用于当存在孤立的访问节点时，判定所述资源标识集合对应的请求端为通过网络爬虫发起资源访问请求的请求端。