[发明专利]一种网页识别方法、装置、电子设备和存储介质

权利要求书

1.一种网页识别方法，其特征在于，该方法包括：

获取待检测网页的目标统一资源定位符URL，以及对应的目标超文本标记语言HTML文件；

基于所述目标URL以及所述目标HTML文件，将所述待检测网页与指定类别样本库进行特征匹配；

若匹配失败，则提取所述目标URL的URL特征以及所述目标HTML文件的HTML特征，并将所述URL特征以及所述HTML特征进行特征融合，获得所述待检测网页对应的网页融合特征；

基于所述网页融合特征，对所述待检测网页进行分类预测，获得所述待检测网页的分类识别结果。

2.如权利要求1所述的方法，其特征在于，所述指定类别样本库包括URL样本库与HTML样本库；所述基于所述目标URL以及所述目标HTML文件，将所述待检测网页与指定类别样本库进行特征匹配，包括：

将所述目标URL的前缀信息与所述URL样本库中的各个候选URL的前缀信息进行比对；

若所述URL样本库中不存在与所述目标URL具有相同前缀信息的候选URL，则将所述待检测网页的目标HTML文件与所述HTML样本库中的各个候选HTML文件进行相似度比对，获取所述各个候选HTML文件对应的文件相似度。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

若所述URL样本库中存在与所述目标URL具有相同前缀信息的候选URL，则确定匹配成功；或者，若所述HTML样本库存在与所述目标HTML文件的文件相似度高于相似度阈值的候选HTML文件，则确定匹配成功；

若所述HTML样本库不存在与所述目标HTML文件的文件相似度高于相似度阈值的候选HTML文件，则确定匹配失败。

4.如权利要求2所述的方法，其特征在于，所述将所述待检测网页的目标HTML文件与所述HTML样本库中的各个候选HTML文件进行相似度比对，获取所述各个候选HTML文件对应的相似度，包括：

分别获取所述目标HTML文件对应的标签与所述各个候选HTML文件对应的标签之间的标签相似度，所述目标HTML文件对应的文本与所述各个候选HTML文件对应的文本之间的文本相似度，以及所述目标HTML文件对应的层叠样式属性与所述各个候选HTML文件对应的风格相似度；

分别将所述各个候选HTML文件对应的标签相似度、文本相似度、以及风格相似度，与相应的相似度权重进行加权求和，确定所述各个候选HTML文件对应的文件相似度。

5.如权利要求1所述的方法，其特征在于，所述提取所述目标URL的URL特征以及所述目标HTML文件的HTML特征，包括：

提取所述目标URL的第一关键信息特征，域名特征以及第一统计学分布特征，并将所述第一关键信息特征，域名特征以及第一统计学分布特征组合作为所述URL特征；以及

提取所述目标HTML文件的第二关键信息特征，字符特征，网页结构特征，以及第二统计学分布特征，并将所述第二关键信息特征，字符特征，网页结构特征，以及第二统计学分布特征组合作为所述HTML特征。

6.如权利要求5所述的方法，其特征在于，所述第一统计学分布特征至少包括信息熵；通过下列方式确定所述目标URL的信息熵：

基于所述目标URL中各字符的出现次数，确定所述目标URL对应的URL字符频率；

基于所述URL字符频率确定所述目标URL的信息熵。

7.如权利要求5所述的方法，其特征在于，所述第一统计学分布特征至少包括相对熵；通过下列方式确定所述目标URL的相对熵：

基于所述目标URL中各字符的出现次数，确定所述目标URL对应的URL字符频率；以及，基于所述目标URL中标准英文字符的出现次数，确定所述目标URL对应的标准英文字符频率；

基于所述URL字符频率以及所述标准英文字符频率，确定所述目标URL的相对熵。