[发明专利]基于功能和结构的近亲Web页面识别方法、装置和设备

权利要求书

1.一种基于功能和结构的近亲Web页面识别方法，其特征在于，包括：

获取待识别的两个Web页面的页面信息；

对所述两个Web页面进行功能特征提取，分别得到所述两个Web页面的功能特征向量，分别将所述功能特征向量输入功能分类模型，预测所述两个Web页面的功能标签；

根据所述功能标签在聚类模型集合中寻找对应的聚类模型，对所述两个Web页面进行结构特征提取，分别得到所述两个Web页面的结构特征向量；

将所述结构特征向量输入对应的聚类模型，预测所述两个Web页面各自所属的簇，所述Web页面所属的簇与所述Web页面的功能标签构成所述Web页面的功能和结构；

根据所述两个Web页面各自的功能和结构，判断所述两个Web页面是否为近亲页面。

2.根据权利要求1所述的方法，其特征在于，对所述两个Web页面进行功能特征提取，分别得到所述两个Web页面的功能特征向量，分别将所述功能特征向量输入功能分类模型，预测所述两个Web页面的功能标签；所述功能分类模型是通过预先训练而得到的，所述功能分类模型训练包括：

根据预先定义的功能类别集合对训练数据进行标记，得到用于模型训练的标记Web页面集；

对所述标记Web页面集进行特征工程处理，得到所述标记Web页面集中每个Web页面的功能特征矩阵，其中，所述功能特征矩阵中的特征至少包括标签数量、文本信息、人工规则以及语义信息；

根据所述每个Web页面的特征矩阵对功能分类模型进行训练，得到功能分类模型；

所述方法还包括：

在对Web页面进行功能预测时，若功能标签错误，则纠正标签以使功能分类模型在纠正后的数据上进行增量学习。

3.根据权利要求1所述的方法，其特征在于，根据所述功能标签在聚类模型集合中寻找对应的聚类模型，其中，所述的聚类模型集合中的聚类模型是通过预先训练得到的，所述聚类模型训练包括：

将带标记的Web页面集按照功能标签划分为多个Web页面集，每个所述Web页面集内的Web页面具有相同的功能标签；

对每个所述Web页面集中的每个Web页面进行特征工程处理，得到所述每个Web页面的结构特征矩阵，利用所述结构特征矩阵对聚类模型进行训练，得到多个对应功能标签的聚类模型集合。

4.根据权利要求1所述的方法，其特征在于，将所述结构特征向量输入对应的聚类模型，预测所述两个Web页面各自所属的簇，包括：

将所述聚类模型中的所有簇的中心与所述Web页面的结构特征向量比较，得到该Web页面所属的簇。

5.根据权利要求1所述的方法，其特征在于，根据所述两个Web页面各自的实现结构，判断所述两个Web页面是否为近亲页面，包括：

若所述两个Web页面的实现结构相似，则判定所述两个Web页面为近亲页面。

6.根据权利要求1所述的方法，其特征在于，根据所述两个Web页面各自的功能和结构，判断所述两个Web页面是否为近亲页面，所述方法还包括：

获取所述两个Web页面各自的语义主题，所述语义主题表征Web页面所描述的内容主题；

若所述两个Web页面的功能和结构相似，且所述两个Web页面的语义主题相同，则判断所述两个Web页面为近亲页面页。