[发明专利]一种基于行为平衡度的垂直类网络爬虫检测识别方法

说明书

一种基于行为平衡度的垂直类网络爬虫检测识别方法，属于计算机软件的技术领域。垂直类网络爬虫是一种针对网站数据进行定点定向爬取的网络程序，相比于传统的网络爬虫，这种爬虫的行为模式更加隐秘，对网站服务器资源占用较低，但是其行为会严重危害到网站的信息安全，造成极大的数字资产损失。现有的网络爬虫检测方式对高频恶意爬虫流量检测效果明显，对垂直类爬虫检测效果不佳，识别准确率较低。因此，本发明提出一种基于行为平衡度的垂直类网络爬虫检测识别方法，具体包括：（1）基于网站页面信息量的合理停滞时间建模；（2）基于不同跃迁深度访问的行为平衡度建模。

技术领域

本发明属于计算机网络流量分类识别领域，具体涉及一种基于行为平衡度的垂直类网络爬虫检测识别方法。

技术背景

随着信息时代的发展，人们留存在互联网信息越来越多，原本零散存在的信息，现通过使用垂直类爬虫定向爬取，会导致个人信息的泄露与电信欺骗。对于网站来说，垂直类爬虫可以批量化的定向采集网站高价值信息，这会导致网站沉淀多年的数字资产，在短期的时间内以极高的速率流失，给企业经营带来不可估计的损失与影响。

垂直类网络爬虫是网络爬虫的一个新兴分支，相比传统的网络爬虫，这种垂直类网络爬虫，其机器特征更小，拟人度更高。由于单个垂直类爬虫获取的信息任务量不高，故此类爬虫在爬取数据时，会以较慢的速率采集信息，不使用多线程等明显增加服务器压力的暴力方法，综合起来，即该类爬虫没有显性的恶意特征。

发明内容

现有的基于恶意特征识别的流量检测技术，对此类爬虫识别效果不佳，为此，本发明通过研究发现垂直类爬虫的行为具有明显的不平衡性，提出一种基于行为平衡度的垂直类网络爬虫识别检测方法，来检测出网站访问流量中的垂直类爬虫流量。

本发明的目的是为了解决在网络访问流量中对缺乏恶意特征的垂直类爬虫流量检测识别问题，提出了一种基于行为平衡度的垂直类网络爬虫检测识别方法，该方法通过研究网站页面数据量与阅读停留时间的关系，发现垂直类网络爬虫在访问页面数据时，与自然人访问行为对比，具有明显的不平衡性，依此特性建立针对垂直类网络爬虫的流量检测方法。具体包括：(1)基于网站页面信息量的合理停滞时间建模，(2)基于不同跃迁深度访问的行为平衡度建模。

本发明的技术方案如下：

1,基于网站页面信息量的合理停滞时间建模

1.1对网页页面的文本信息，统计总字符数，单位为百，记为i,i∈(1,10)

1.2对网页页面的图片信息，统计总像素值，单位为十万像素，记为j，j∈(1,10)

1.3对网站页面的可交互操作，统计总次数，记为k，k∈(1,10)

1.4根据科学研究，人眼对文本信息的阅读速率为10字/秒，记为v_i，

1.5根据可续研究，人眼对图片信息的阅读速度为10万像素/秒，记为v_j

1.6可交互的执行操作平均时间为1秒/次，引入操作复杂度因子s_k∈(1，10)

1.7于是可得网站页面数据量理论停留时间(Time on site)，Tos＝i×v_i+j×v_j+k×s_k，进行归一化处理，

2，基于不同跃迁深度访问的行为平衡度建模

2.1将网站抽象成一颗n叉不平衡树，其根为index主页，其树节点为子页面，网站深度一般为5层。

2.2我们将从index页面的所有同级子页面，分别记为p₁，p₂，p₃…p_n。记为第一层页面，其总页面数量为n。