[发明专利]基于网页结构相似性的网站聚类方法和系统

权利要求书

1.一种基于网页结构相似性的网站聚类方法，其特征在于，应用于服务器，包括：

获取待聚类网站的目标DOM树和目标层叠样式表；

获取预设DOM树和预设层叠样式表，其中，所述预设DOM树为预设聚类中心网站的DOM树，所述预设层叠样式表为所述预设聚类中心网站的层叠样式表；

通过所述目标DOM树和所述预设DOM树的之间的相似度，以及通过所述目标层叠样式表和所述预设层叠样式表之间的相似度对所述待聚类网站进行聚类操作。

2.根据权利要求1所述的方法，其特征在于，通过所述目标DOM树和所述预设DOM树的之间的相似度，以及通过所述目标层叠样式表和所述预设层叠样式表之间的相似度对所述待聚类网站进行聚类操作，包括：

计算所述目标DOM树与所述预设DOM树的第一相似度；计算所述目标层叠样式表与所述预设层叠样式表的第二相似度；

计算所述第一相似度和所述第二相似度的加权平均值，将所述加权平均值作为所述待聚类网站与所述预设聚类中心网站的目标相似度；

基于所述目标相似度对所述待聚类网站进行聚类操作。

3.根据权利要求2所述的方法，其特征在于，计算所述目标DOM树与预设DOM树的第一相似度，包括：

通过树编辑距离算法计算所述目标DOM树与所述预设DOM树之间的编辑距离；

基于所述编辑距离计算所述第一相似度。

4.根据权利要求2所述的方法，其特征在于，计算所述目标层叠样式表与所述预设层叠样式表的第二相似度，包括：

获取所述目标层叠样式表中class属性的集合，得到第一集合；

获取所述预设层叠样式表中class属性的集合，得到第二集合；

计算所述第一集合和所述第二集合的杰卡德系数，并将所述杰卡德系数作为所述第二相似度。

5.根据权利要求1所述的方法，其特征在于，所述预设聚类中心网站为多个；

基于所述目标相似度对所述待聚类网站进行聚类操作，包括：

分别计算所述待聚类网站与每个预设聚类中心网站之间的相似度，得到多个目标相似度；

将所述待聚类网站放入目标预设聚类中心网站所对应的集合中，其中，所述目标预设聚类中心为所述多个目标相似度中最大目标相似度所对应的预设聚类中心网站。

6.一种基于网页结构相似性的网站聚类系统，其特征在于，应用于服务器，包括：第一获取模块，第二获取模块和聚类模块，其中，

所述第一获取模块，用于获取待聚类网站的目标DOM树和目标层叠样式表；

所述第二获取模块，用于获取预设DOM树和预设层叠样式表，其中，所述预设DOM树为预设聚类中心网站的DOM树，所述预设层叠样式表为所述预设聚类中心网站的层叠样式表；

所述聚类模块，用于通过所述目标DOM树和所述预设DOM树的之间的相似度，以及通过所述目标层叠样式表和所述预设层叠样式表之间的相似度对所述待聚类网站进行聚类操作。

7.根据权利要求6所述的系统，其特征在于，所述聚类模块还包括：第一计算单元，第二计算单元和聚类单元，其中，

所述第一计算单元，用于计算所述目标DOM树与所述预设DOM树的第一相似度；计算所述目标层叠样式表与所述预设层叠样式表的第二相似度；

所述第二计算单元，用于计算所述第一相似度和所述第二相似度的加权平均值，将所述加权平均值作为所述待聚类网站与所述预设聚类中心网站的目标相似度；

所述聚类单元，用于基于所述目标相似度对所述待聚类网站进行聚类操作。

8.根据权利要求7所述的系统，其特征在于，所述第一计算单元还用于：

通过树编辑距离算法计算所述目标DOM树与所述预设DOM树之间的编辑距离；

基于所述编辑距离计算所述第一相似度；

获取所述目标层叠样式表中class属性的集合，得到第一集合；

获取所述预设层叠样式表中class属性的集合，得到第二集合；

计算所述第一集合和所述第二集合的杰卡德系数，并将所述杰卡德系数作为所述第二相似度。