[发明专利]防抓取的方法、装置、设备及计算机存储介质

权利要求书

1.一种防抓取的方法，其特征在于，包括：

获取待识别数据；其中，所述待识别数据包括访问记录和用户的行为数据；

对所述用户的行为数据进行分类，并对每一类别下用户的行为数据的次数进行统计，得到每一类别的统计结果：其中，所有类别的统计结果的集合作为第一数据；

统计用户访问数据中的每一个地址信息的访问数量、以及每一个所述地址信息访问业务线配置的规则的访问数量；其中，所述用户访问数据为记录于所述访问记录中的每一个用户的访问数据；

判断所述每一个地址信息访问业务线配置的规则的访问数量，是否大于第一阈值；其中，所述第一阈值为业务线配置的规则被访问的阈值；

针对判断出所述地址信息访问业务线配置的规则的访问数量，大于第一阈值的每一个目标地址信息，确定所述目标地址信息所属的用户的访问数据为第一疑似爬虫数据，并判断所述目标地址信息访问业务线配置的规则的访问数量，与所述目标地址信息的访问数量的比值是否大于第二阈值；其中，所述目标地址信息访问业务线配置的规则的访问数量大于所述第一阈值；

若判断出，所述目标地址信息访问业务线配置的规则的访问数量与所述目标地址信息的访问数量的比值大于第二阈值，则确定所述第一疑似爬虫数据为爬虫数据；

若判断出，所述目标地址信息访问业务线配置的规则的访问数量与所述目标地址信息的访问数量的比值小于或等于第二阈值，则将所述第一疑似爬虫数据作为第二疑似爬虫数据，并将所述第二疑似爬虫数据中的用户行为数据的数值，赋值为所述第一数据中的用户行为数据的数值；

在所述被赋值后的用户行为数据的数值大于第三阈值的情况下，判断所述第二疑似爬虫数据是否在用户短期白名单中；

若判断出所述第二疑似爬虫数据不在用户短期白名单中，则确定所述第二疑似爬虫数据为爬虫数据。

2.根据权利要求1所述的方法，其特征在于，所述对所述用户的行为数据进行分类，并对所述每一类别下用户的行为数据的次数进行统计，得到每一类别的统计结果之前，还包括：

根据预先收集的搜索引擎特征对所述访问记录进行解析，得到所述用户访问数据和搜索引擎数据。

3.根据权利要求2所述的方法，其特征在于，所述根据预先收集的搜索引擎特征对访问数据数据进行解析，得到用户访问数据和搜索引擎数据之后，还包括：

根据预设的搜索引擎和地址信息的关系对应表，确认所述搜索引擎数据为已确认数据或未确认数据；

若所述搜索引擎数据为已确认数据，则按照所述搜索引擎数据所属的服务器统计访问次数；

若所述搜索引擎数据为未确认数据，则每隔预设时间，按照所述搜索引擎数据所属的服务器所提供的校验方式，对所述搜索引擎数据进行校验；

若校验通过，则将所述搜索引擎数据变更为已确认数据，并将所述搜索引擎数据加入所述搜索引擎和地址数据的关系对应表中；

若校验未通过，则确认所述搜索引擎数据指代的搜索引擎为疑似伪造搜索引擎，并在所述疑似伪造搜索引擎的地址信息的请求量大于预设的阈值，发出告警信息；其中，所述告警信息用于提示工作人员进行人工确认。

4.根据权利要求1所述的方法，其特征在于，所述对所述用户的行为数据进行分类，对所述每一类别下用户的行为数据的次数进行统计，得到每一类别的统计结果之前，还包括：

判断所述待识别数据是否在黑名单中；

若判断出所述待识别数据在黑名单中，则利用验证码对所述待识别数据进行校验。

5.根据权利要求4所述的方法，其特征在于，所述利用验证码对所述待识别数据进行校验，包括：

获取用户输入的验证码；

判断所述用户输入的验证码是否正确；

其中：若判断出所述用户输入的验证码正确，则将所述待识别数据存储至短期白名单中；若判断出所述用户输入的验证码不正确，则禁止访问。