[发明专利]基于向量化和逻辑回归识别有害URL的方法及装置

权利要求书

1.一种基于向量化和逻辑回归识别有害URL的方法，其特征在于，包括：

提取多个被认定为有害请求的统一资源定位符URL和待识别的统一资源定位符URL；

将每个URL向量化，分别得到对应的多维向量；组合全部有害请求的URL的多维向量，得到一个向量矩阵X，其中每个有害请求的URL的多维向量作为向量矩阵X的一行；

将每个URL对应的标签向量化；组合全部有害请求的URL向量化后的标签，得到一个标签向量Y；

将向量矩阵X和标签向量Y输入逻辑回归模型进行训练，训练完成之后得到训练好的逻辑回归模型；

针对任一待识别的URL，将该待识别的URL的多维向量作为一行增加到向量矩阵X内，形成待识别的向量矩阵X1；将该待识别的URL向量化后的标签添加到标签向量Y内，形成待识别的标签向量Y1；将待识别的向量矩阵X1和待识别的标签向量Y1输入到训练好的逻辑回归模型进行训练，得到该待识别的URL的训练结果h(X1)；以及

当该待识别的URL的训练结果h(X1)大于预设的第一阈值时，则判定该待识别的URL请求为有害请求；当该待识别的URL的训练结果h(X1)小于等于第一阈值时，则判定该待识别的URL请求为无害请求。

2.根据权利要求1基于向量化和逻辑回归识别有害URL的方法，其特征在于，将每个URL向量化，分别得到对应的多维向量，包括：

采用URL内的符号“&”作为分隔点将每个URL的参数顺序分隔，得到h个参数片；将每个参数片转化为二进制字符串，取每个参数片的前k位形成k维向量；

顺序排列每个参数片的k维向量，得到每个URL的多维向量，每个URL的多维向量的元素数量为h*k。

3.根据权利要求2基于向量化和逻辑回归识别有害URL的方法，其特征在于，将每个参数片转化为二进制字符串，包括：

通过哈希函数Hash依次遍历URL的每个参数片，计算得到每个参数片的哈希值并对哈希值取绝对值，将绝对值转化为二进制字符串。

4.根据权利要求2基于向量化和逻辑回归识别有害URL的方法，其特征在于，还包括：

调整每个URL的多维向量内元素的数量h*k，使得所有URL的多维向量内元素的数量相同。

5.根据权利要求1基于向量化和逻辑回归识别有害URL的方法，其特征在于，URL对应的标签包括：有害请求、无害请求和待识别；

将每个URL对应的标签向量化，具体包括：如果URL对应的标签为无害请求，则标签向量化设为0，如果URL对应的标签为有害请求，则标签向量化设为1，如果URL对应的标签为待识别，则标签向量化设为未知数y。

6.一种基于向量化和逻辑回归识别有害URL的装置，其特征在于，包括：

提取装置：用于提取多个被认定为有害请求的统一资源定位符URL和待识别的统一资源定位符URL；

向量化单元：用于将每个URL向量化，分别得到对应的多维向量；组合全部有害请求的URL的多维向量，得到一个向量矩阵X，其中每个有害请求的URL的多维向量作为向量矩阵X的一行；用于将每个URL对应的标签向量化；组合全部有害请求的URL向量化后的标签，得到一个标签向量Y；

训练单元：用于将向量矩阵X和向量Y输入逻辑回归模型进行训练，训练完成之后得到训练好的逻辑回归模型；针对任一待识别的URL，将该待识别的URL的多维向量作为一行增加到向量矩阵X内，形成待识别的向量矩阵X1；将该待识别的URL向量化后的标签添加到标签向量Y内，形成待识别的标签向量Y1；将待识别的向量矩阵X1和待识别的标签向量Y1输入到训练好的逻辑回归模型进行训练，得到该待识别的URL的训练结果h(X1)；

判断单元：用于当该待识别的URL的训练结果h(X1)大于预设的第一阈值时，则判定该待识别的URL请求为有害请求；当该待识别的URL的训练结果h(X1)小于等于第一阈值时，则判定该待识别的URL请求为无害请求。