[发明专利]基于向量化和逻辑回归识别有害URL的方法及装置

说明书

本发明实施例提供一种基于向量化和逻辑回归识别有害URL的方法及装置，包括：提取多个被认定为有害请求的统一资源定位符URL和待识别的统一资源定位符URL；将每个URL向量化，分别得到对应的多维向量；组合全部有害请求的URL的多维向量，得到一个向量矩阵X；针对任一待识别的URL，形成待识别的向量矩阵X1和待识别的标签向量Y1；将待识别的向量矩阵X1和待识别的标签向量Y1输入到训练好的逻辑回归模型进行训练，得到该待识别的URL的训练结果h(X1)；当该待识别的URL的训练结果h(X1)大于第一阈值时，则判定该待识别的URL请求为有害请求；当小于等于第一阈值时，则判定该待识别的URL请求为无害请求。

技术领域

本发明涉及计算机领域，具体涉及一种基于向量化和逻辑回归识别有害URL的方法及装置。

背景技术

网站用来为用户提供数据输出，可是有些用户处于各种不同的原因，通过使用机器模拟人类进行网页访问请求。那么通过机器访问通常访频繁且访问量很大。另外，使用机器模拟人类进行网页访问请求的通常为不法分子，其具有非法的目的，经常会出现网站核心数据被爬取或者核心接口被大量刷量。通常采用反抓站系统是封禁这部分非正常访问的系统。

如果不法分子使用多ip发起请求，具有如下特点，第一：第一是不法分子在其电脑上写好刷站请求脚本，然后请求一定次数或一定时间后，主动更换其ip。第二是不法分子在一些云服务器产品上部署自己的刷站脚本，因为云服务器ip的动态性导致多ip访问。上述操作虽然其ip虽然不同，由于请求由于来自同一脚本，所以其URL却有一定的规律，可以使用机器学习的方法来判断此请求是否是有害请求。

在实现本发明过程中，申请人发现现有技术中至少存在如下问题：

但是对于没有任何规律可遵循的URL，则需要手动标记，如：

/2/statuses/show？wm＝3333_2001&b＝0&from＝1085199020&c＝iphone&networktype＝wifi&v_p＝60&skin＝default&v_f＝1&lang＝zh_CN&ua＝iPad4,1__weibo__8.5.1__ipad__os10.1.1&s flag＝1&ft＝0&i＝88e4c4f&did＝bb8d107ee05a3fc06be80c1098ad7159&checktoken＝49e5c194bd eed7cc8bbeaab67504cff1&gsid＝&aid＝01AgbVmfmoJjQmRb-L-ai9ITx0e88OqSta3GqK-53w72033U8.&s＝&moduleID＝feed&uicode＝10000002&id＝4372302667956367&luicode＝20000061&_status_id＝4372302667956367&mid＝4372302667956367&has_member＝1&lfid＝universallin k&isGetLongText＝1

此URL被手动标记之后，对比发现其中包含的&v_p＝60这一字串为有害请求，因为其之前被标记为有害请求的比例超过99.9％，所以可以简单判断为有害请求。

然而，此方法采用纯手动标记，工作量大；另外当采用之前已有的字符串(某一特定字符串)用来比对该URL是否还有该字符串以判定是否为有害请求，具有单一性，所有容易被发现而被不法分子绕过。

发明内容

本发明实施例提供一种基于向量化和逻辑回归识别有害URL的方法及装置，通过对URL进行向量化，并对向量化的URL逻辑回归训练，能够自动化实时判断新接收到的URL请求是有害请求还是正常请求。

为达上述目的，一方面，本发明实施例提供一种基于向量化和逻辑回归识别有害URL的方法，包括：