[发明专利]网页识别方法及装置、服务器

权利要求书

1.一种网页识别方法，其特征在于，所述方法包括：

计算待检测页面的文档对象模型对应的第一哈希值；

根据所述第一哈希值与第一哈希特征库中的哈希值确定所述待检测页面与钓鱼页面样本之间的第一相似度值，所述第一哈希特征库用于记录钓鱼页面样本的文档对象模型对应的哈希值；

根据所述待检测页面中的预设类型资源文件的哈希值与第二哈希特征库中的哈希值，确定所述待检测页面与所述钓鱼页面样本之间的第二相似度值，所述第二哈希特征库用于记录所述钓鱼页面样本上的图片对应的哈希值；

根据所述第一相似度值和所述第二相似度值确定所述待检测页面与所述钓鱼页面样本之间的相似度值；

根据所述相似度值确定所述待检测页面是否为钓鱼页面。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测页面中的预设类型资源文件的哈希值与第二哈希特征库中的哈希值确定所述待检测页面与所述钓鱼页面样本之间的第二相似度值，包括：

计算所述待检测页面中的预设类型资源文件各自对应的哈希值；

确定所述预设类型资源文件各自对应的哈希值中，与第二哈希特征库中的哈希值相匹配的哈希值所占比例值；

根据所述比例值确定待检测页面与所述钓鱼页面样本之间的第二相似度值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一相似度值和所述第二相似度值确定所述待检测页面与所述钓鱼页面样本之间的相似度值，包括：

确定所述第一相似度值与所述第二相似度值各自对应的权重系数；

根据所述各自对应的权重系数、所述第一相似度值和所述第二相似度值确定所述待检测页面与所述钓鱼页面样本之间的相似度值。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过哈希算法，计算全部页面样本的文档对象模型各自对应的哈希值，得到一组哈希值；

通过层次聚类方法，将所述一组哈希值聚类为用于记录正常页面的文档对象模型对应的第一组哈希值以及用于记录钓鱼页面的文档对象模型对应的第二组哈希值；

将所述第一组哈希值存储在第三哈希特征库，并将所述第二组哈希值存储在第一哈希特征库，所述第三哈希特征库用于记录正常页面的文档对象模型对应的哈希值。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述第一哈希值是否命中第三哈希特征库中的哈希值，所述第三哈希特征库用于记录正常页面的文档对象模型对应的哈希值；

如果所述第一哈希值未命中第三哈希特征库中的哈希值，执行基于所述第一哈希值，确定所述待检测页面与钓鱼页面样本的相似度值的步骤。

6.根据权利要求1所述的方法，其特征在于，所述计算待检测页面的文档对象模型对应的第一哈希值，包括：

获取待检测页面的页面HTML内容；

将所述页面HTML内容生成文档对象模型树结构；

对所述文档对象模型树结构进行剪枝；

遍历所述文档对象模型树结构的全部路径并对所述全部路径排序后，将所述文档对象模型树结构拼接为字符串；

通过哈希算法，计算所述字符串对应的哈希值，所述字符串对应的哈希值为所述文档对象模型对应的第一哈希值。

7.根据权利要求1所述的方法，其特征在于，所述根据所述相似度值确定所述待检测页面是否为钓鱼页面，包括：

将所述相似度值与预设阈值进行比较；

如果所述相似度值大于所述预设阈值，确定所述待检测页面为钓鱼页面；

如果所述相似度值小于或者等于所述预设阈值，确定所述待检测页面为正常页面。

8.根据权利要求1-7任一所述的方法，其特征在于，所述方法还包括：

如果确定所述待检测页面为钓鱼页面，将所述待检测页面对应的域名通知给拦截系统，以供所述拦截系统对所述域名进行拦截。