[发明专利]一种基于网站地图的指纹识别方法

权利要求书

1.一种基于网站地图的指纹识别方法，其特征在于，该方法包括以下步骤：

(1)网站地图树生成：捕获目标网站的网站地图，并将网站地图用n叉树T0表示；

(2)网站地图树剪枝：根据网站路径黑名单对网站地图树T0进行剪枝，保留能够反映网站指纹的网站路径，生成简化后的网站地图树；

(3)建立网站指纹-网站地图树库D1；

(4)指纹识别：遍历网站指纹-网站地图树库中的网站地图树，与目标网站地图树进行匹配，从而获取目标网站的指纹信息；目标网站的网站地图树设为T0，遍历D1中的每一条数据，得到网站指纹-网站地图树的对应信息，设当前遍历到的网站指纹为F1，网站地图树为T1，对T0、T1进行匹配，具体的计算方法如下：

首先层次遍历T0，比较遍历到的节点的val与T1的根节点的val，如果不同，继续往下遍历；如果相同，设T0中以当前节点为根节点的树为T2，然后计算T2与T1的相似度；

如果计算出T1、T2的相似度高于相似度阈值，即可认为T1、T2实现了成功匹配，进一步确认目标网站可以匹配网站指纹F1；如果T1、T2可以成功匹配，将T2进行截取，保留T1高度H范围内的节点，记为T3，记录此时的F1-T3的对应信息；

T1、T2的相似度计算完成后，继续层次遍历T0，并循环上述计算过程，最终得到T0匹配到的一组指纹，以及该组指纹中每个指纹对应的新的网页地图树T3的信息；

T1、T2相似度计算的具体方法为：

从T1的根节点开始进行层次遍历，并在相同的层进行T1和T2之间节点val的比较，T1遍历完成后，相似度计算过程结束；记根节点的深度d为0，节点深度从上往下依次递增；在每一层，先计算出该层的相似度，计算公式如下：

其中，节点最大数量是指T1和T2在相同深度d层节点数量的最大值；

每层深度的相似度计算完成后，进行求和，和记为sum；

T1、T2的相似度计算公式如下：

(5)网站指纹-网站地图树库更新：将目标网站的网站指纹与网站地图树的对应信息更新到网站指纹-网站地图树库中。

2.根据权利要求1所述的一种基于网站地图的指纹识别方法，其特征在于，所述步骤(1)中，n叉树T0的每个节点有两个属性：当前节点的值val和当前节点的孩子节点列表children。

3.根据权利要求1所述的一种基于网站地图的指纹识别方法，其特征在于，所述步骤(2)中，将不能反映网站特性的通用字段建立黑名单；

当网站地图树的某个节点存在于黑名单列表中时，剪去该节点；

当网站地图树的某个节点的孩子节点数量大于节点阈值时，剪去该节点。

4.根据权利要求1所述的一种基于网站地图的指纹识别方法，其特征在于，所述步骤(3)中，网站指纹-网站地图树库的构建方法具体为：

建立网站指纹库D0，存储多个网站指纹；

建立网站指纹-网站地图树库D1，存储网站指纹与网站地图树的一对多的关系；

对于D0中的每个网站指纹，找到该网站指纹对应的网站，然后得到该网站的网站地图，并进一步得到该网站的网站地图树，将网站指纹-网站地图树的对应信息增加到D1中。

5.根据权利要求1所述的一种基于网站地图的指纹识别方法，其特征在于，所述步骤(5)中，将步骤(4)中得到的目标网站匹配到的指纹以及每个指纹对应的新的网页地图树T3的信息更新到网站指纹-网站地图树库中，进一步扩充网站指纹-网站地图树库的信息，增加网站指纹-网站地图树库的覆盖度。