[发明专利]分辨爬虫和CC攻击的方法、装置、电子设备及存储介质

说明书

本发明提供了一种本发明实施例提出的分辨爬虫和CC攻击的方法、装置、电子设备及存储介质，先获取至少两个由同一用户访问的URL；然后计算每两两所述URL之间的距离，得到多个距离值；然后将所述多个距离值进行累加得到表征所述用户访问的离散度的距离和；在判断所述距离和不属于预先保存的阈值范围时，确定所述用户的访问为爬虫访问或者为CC攻击。

技术领域

本发明涉及移动互联网领域，具体而言，涉及一种分辨爬虫和CC攻击的方法、装置、电子设备及存储介质。

背景技术

CC(Challenge Collapsar)攻击作为拒绝服务攻击的一种，通过模拟客户端向HTTP服务器快速发送大量请求，达到消耗服务器资源，造成正常用户无法访问的目的。网络爬虫也是通过模拟客户端向HTTP服务器发送请求，与CC攻击不同的是，爬虫的目的在于获取URL对应的资源数据。

因此，作为监控网络安全的一方，都希望能够准确分辨出用户访问的URL(UniformResource Locator)属于正常访问还是属于CC攻击或者网络爬虫。

发明内容

有鉴于此，本发明实施例的目的在于提供一种分辨爬虫和CC攻击的方法、装置，以分辨爬虫和CC攻击。

第一方面，本发明实施例提供了一种分辨爬虫和CC攻击的方法，所述方法包括：获取至少两个由同一用户访问的URL；计算每两两所述URL之间的距离，得到多个距离值；将所述多个距离值进行累加得到表征所述用户访问的离散度的距离和；在判断所述距离和不属于预先保存的阈值范围时，确定所述用户的访问为爬虫访问或者为CC攻击。通过该方法，可以在用户所访问的URL的离散度不属于预先保存的阈值范围时，确定用户的访问为爬虫访问或者为CC攻击。

结合第一方面的一种实施方式，所述阈值范围包括阈值上限以及阈值下限，在判断所述距离和不属于预先保存的阈值范围时，确定所述用户的访问为爬虫访问或者为CC攻击，包括：在判断所述距离和小于所述阈值下限时，确定所述用户的访问为CC攻击；在判断所述距离和大于所述阈值上限时，确定所述用户的访问为爬虫。通过该方法，在用户所访问的URL的离散度小于所述阈值下限时，确定所述用户的访问为CC攻击，在用户所访问的URL的离散度大于所述阈值上限时，确定所述用户的访问为爬虫。

结合第一方面的一种实施方式，计算每两两所述URL之间的距离，包括：将待计算的每个所述URL所包括的内容按照第一预设顺序组成一个包含N个元素的数组，其中，所述数组包含一个参数元素以及至少一个字符串元素；针对待计算的每两个所述URL所对应的两个数组，按照第二预设规则比对所述两个数组所包括的所述字符串元素以及按照第三预设规则比对所述两个数组所包括的所述参数元素，得到与所述待计算的每两个所述URL对应的比较结果数组；根据第四预设规则，将所述比较结果数组转换成一个数值，所述数值为所述待计算的每两个所述URL之间的距离。

结合第一方面的一种实施方式，每个所述URL包括host、path以及arguments；将待计算的每个所述URL所包括的内容按照第一预设顺序组成一个包含N个元素的数组，包括：针对每个所述URL，将与该URL所对应的host按照排列顺序根据“.”进行拆分，得到至少一个host元素，将与该URL所对应的path按照排列顺序根据“/”进行拆分，得到至少一个path元素，将与该URL所对应的arguments根据“”进行拆分，得到arguments元素；将所述至少一个host元素、所述至少一个path元素以及所述arguments元素组成一个包含N个元素的数组其中，将所述arguments元素填入a₀，形成所述参数元素，将所述至少一个host元素经过逆序排序且将所述至少一个path元素顺序排序后依次填入a_N-1到a₁，形成所述字符串元素。