[发明专利]基于功能和结构的近亲Web页面识别方法、装置和设备

说明书

本发明提供了一种基于功能和结构的近亲Web页面识别方法、装置和设备，所述方法包括：获取待识别的两个Web页面的页面信息；对所述两个Web页面进行功能特征提取，将所述功能特征向量输入功能分类模型，预测所述两个Web页面的功能标签；根据所述功能标签在聚类模型集合中寻找对应的聚类模型；将所述结构特征向量输入对应的聚类模型，预测所述两个Web页面各自所属的簇，所述簇与所述功能标签构成所述Web页面的功能和结构特征；根据所述两个Web页面各自的功能和结构，判断所述两个Web页面是否为近亲页面。本发明通过功能识别以得到页面的功能，再基于功能信息进行结构聚类以识别结构，进而有效地表征Web页面的实现结构，提高近亲Web页面识别的准确性。

技术领域

本发明涉及计算机技术领域，特别是一种基于功能和结构的近亲Web页面识别方法、装置和设备。

背景技术

随着开源软件和低代码开发的盛行，Web页面的开发工作越来越简便，许多Web页面都基于特定模板而开发出来，因而产生很多实现结构(即Web页面源代码的逻辑结构)相似的近亲页面，近亲页面的识别在代码克隆检测、Web数据提取与版权保护等领域都发挥着重要的作用。

然而，由于Web页面的代码十分复杂，其中有许多代码段与外观和布局等样式信息相关，这使得类似于DOM树的直接表征方式表现不好，为Web页面实现结构的表征带来了困难。因此，如何提高Web页面的实现结构的表征是提高近亲Web页面识别准确度的关键。

发明内容

鉴于上述问题，本发明实施例提供了一种基于功能和结构的近亲Web页面识别方法、装置、设备和介质，以便克服上述问题或者至少部分地解决上述问题。

本发明实施例的第一方面，公开了一种基于功能和结构的近亲Web页面识别方法，所述方法包括：

获取待识别的两个Web页面的页面信息；

对所述两个Web页面进行功能特征提取，分别得到所述两个Web页面的功能特征向量，分别将所述功能特征向量输入功能分类模型，预测所述两个Web页面的功能标签；

根据所述功能标签在聚类模型集合中寻找对应的聚类模型，对所述两个Web页面进行结构特征提取，分别得到所述两个Web页面的结构特征向量；

将所述结构特征向量输入对应的聚类模型，预测所述两个Web页面各自所属的簇，所述Web页面所属的簇与所述Web页面的功能标签构成所述Web页面的功能和结构；

根据所述两个Web页面各自的功能和结构，判断所述两个Web页面是否为近亲页面。

可选地，对所述两个Web页面进行功能特征提取，分别得到所述两个Web页面的功能特征向量，分别将所述功能特征向量输入功能分类模型，预测所述两个Web页面的功能标签；所述功能分类模型是通过预先训练而得到的，所述功能分类模型训练包括：

根据预先定义的功能类别集合对训练数据进行标记，得到用于模型训练的标记Web页面集；

对所述标记Web页面集进行特征工程处理，得到所述标记Web页面集中每个Web页面的功能特征矩阵，其中，所述功能特征矩阵中的特征至少包括标签数量、文本信息、人工规则以及语义信息；

根据所述每个Web页面的特征矩阵对功能分类模型进行训练，得到功能分类模型；

所述方法还包括：

在对Web页面进行功能预测时，若功能标签错误，则纠正标签以使功能分类模型在纠正后的数据上进行增量学习。

可选地，根据所述功能标签在聚类模型集合中寻找对应的聚类模型，其中，所述的聚类模型集合中的聚类模型是通过预先训练得到的，所述聚类模型训练包括：