[发明专利]防抓取的方法、装置、设备及计算机存储介质

说明书

本申请提供了一种防抓取的方法、装置、设备及计算机存储介质，对用户的行为数据进行分类统计，得到第一数据；将地址信息访问业务线配置的规则的访问数量，大于第一阈值的每一个目标地址信息所属的用户的访问数据确定为第一疑似爬虫数据；若目标地址信息访问业务线配置的规则的访问数量与目标地址信息的访问数量的比值大于第二阈值，则第一疑似爬虫数据为爬虫数据；比值小于或等于第二阈值，将第一疑似爬虫数据作为第二疑似爬虫数据，将用户行为数据的数值赋值为第一数据中的用户行为数据的数值后；若大于第三阈值且第二疑似爬虫数据不在白名单中，则第二疑似爬虫数据为爬虫数据。以达到精准识别爬虫的目的。

技术领域

本申请涉及计算机技术领域，特别涉及一种防抓取的方法、装置、设备及计算机存储介质。

背景技术

随着互联法网的普及，越来越多的公司的业务都运行在网络上，可以通过各个公司提供的手机应用或者通过浏览器来访问这些商业公司提供的内容或者业务。

这些数据往往具有商业价值，所以除了搜索引擎之外还会有各种身份不明，目的不明的爬虫来通过编程或者某些技术手段来获取网站内容，爬取业务数据等。所以，商业公司不仅面临着商业数据被恶意批量抓取的风险，还面临着自身业务因为爬虫的高频抓取影响到业务正常服务的问题。

目前，各个商业公司通常采用开发属于自己公司的网站内容防抓取系统，来减少爬虫的恶意抓取，但是现有的网站内容防抓取系统，通常是基于访问日志进行分析统计数据，由于一般的商业公司网络流量会很大，所以传统的基于访问日志进行分析统计数据时，通常会有一定的滞后性，数据统计出来后已经距离爬虫抓取的时间的间隔太久，数据已经失效或者爬虫已经获取到相关数据。而且由于数据量大的原因，会在统计数据时舍弃一部分数据，导致部分数据不会出现在结果中，从而导致对爬虫识别不准确。

发明内容

有鉴于此，本申请提供一种防抓取的方法、装置、设备及计算机存储介质，用于准确识别爬虫。

本申请第一方面提供了一种防抓取的方法，包括：

获取待识别数据；其中，所述待识别数据包括访问记录和用户的行为数据；

对所述用户的行为数据进行分类，并对每一类别下用户的行为数据的次数进行统计，得到每一类别的统计结果：其中，所有类别的统计结果的集合作为第一数据；

统计用户访问数据中的每一个地址信息的访问数量、以及每一个所述地址信息访问业务线配置的规则的访问数量；其中，所述用户访问数据为记录于所述访问记录中的每一个用户的访问数据；

判断所述每一个地址信息访问业务线配置的规则的访问数量，是否大于第一阈值；其中，所述第一阈值为业务线配置的规则被访问的阈值；

针对判断出所述地址信息访问业务线配置的规则的访问数量，大于第一阈值的每一个目标地址信息，确定所述目标地址信息所属的用户的访问数据为第一疑似爬虫数据，并判断所述目标地址信息访问业务线配置的规则的访问数量，与所述目标地址信息的访问数量的比值是否大于第二阈值；其中，所述目标地址信息访问业务线配置的规则的访问数量大于所述第一阈值；

若判断出，所述目标地址信息访问业务线配置的规则的访问数量与所述目标地址信息的访问数量的比值大于第二阈值，则确定所述第一疑似爬虫数据为爬虫数据；

若判断出，所述目标地址信息访问业务线配置的规则的访问数量与所述目标地址信息的访问数量的比值小于或等于第二阈值，则将所述第一疑似爬虫数据作为第二疑似爬虫数据，并将所述第二疑似爬虫数据中的用户行为数据的数值，赋值为所述第一数据中的用户行为数据的数值；

在所述被赋值后的用户行为数据的数值大于第三阈值的情况下，判断所述第二疑似爬虫数据是否在用户短期白名单中；

若判断出所述第二疑似爬虫数据不在用户短期白名单中，则确定所述第二疑似爬虫数据为爬虫数据。