[发明专利]一种网页去噪的方法

权利要求书

1.一种网页去噪的方法，其特征在于，所述方法包括：

导入网页，获取网页的DOM树结构信息、视觉信息和文本内容；所述DOM树结构信息、视觉信息和文本内容中包括节点的相关信息；

判断节点类型，计算节点纯度；

拆分DOM树提取初级视觉块，并对初级视觉块集合进行邻域分析与融合，形成视觉块集合，校验视觉块集合，校验后输出提取视觉块；

抽取视觉块特征；

对视觉块进行分类，将视觉块的分类标签以节点属性的方式写入视觉块所包含的DOM子树的所有节点，直至叶子节点，检查、修改标注文件并输出；

从节点的类别标签推导出视觉块的类别标签，使用视觉块特征和视觉块类别标签训练分类器，并评估网页去噪效果；

采用分类器对视觉块分类，将分类结果转化为节点的分类结果，根据节点的分类结果剔除网页中的无效内容，输出网页去噪结果并保存。

2.如权利要求1所述的网页去噪的方法，其特征在于，

所述视觉信息包括节点位置、节点字体名称、节点字体颜色、节点字体大小、节点字体是否加粗和节点对齐方式；

所述节点类型包括：文本型、图片型、链接型和忽略型；

网页中的无效内容包括所有噪声节点和忽略节点所含内容。

3.如权利要求1所述的网页去噪的方法，其特征在于，所述节点纯度的计算公式为：

其中，DoNC代表节点纯度，N表示子节点个数，T表示当前节点的类型，subT_i表示第i个子节点的节点类型；函数F(T，subT_i)定义为T＝subT_i代表该节点与其子节点的类型相同，T≠subT_i代表该节点与其子节点的类型不同；对于叶子节点，节点纯度默认为1，对于非叶子节点，节点纯度取值范围在[0，1]之间。

4.如权利要求1所述的网页去噪的方法，其特征在于，所述视觉块特征包括文本比例、链接文本比例、链接节点比例、结束标点比例、图像节点比例、块充盈率、块中心X、块中心Y、块宽度、块高度、块面积、块上边界、块下边界、块左边界、块右边界、字体属性与加粗属性。

5.如权利要求4所述的网页去噪的方法，其特征在于，所述块充盈率的计算公式为ImageArea代表块内图像面积，CharNum代表块字符数，BlockArea代表块面积，CharAveArea代表块内字符平均面积，计算公式为：PageArea代表页面积，BlockFontSize代表块字体均值，PageCharNum代表页字符个数，PageFontSize代表页字体均值。

6.如权利要求1所述的网页去噪的方法，其特征在于，所述评估网页去噪效果包括：视觉块评估、分类器评估和整体评估；

所述视觉块评估包括：视觉块的正确率、准确率和召回率，具体计算公式为：

Acc₁ Pre₁ Rec₁分别表示视觉块的正确率、准确率和召回率；

所述分类器评估包括：分类器的正确率、准确率和召回率，具体计算公式为：

Acc₂ Pre₂ Rec₂分别表示分类器的正确率、准确率和召回率；

所述整体评估包括：整体去噪效果的正确率、准确率和召回率，具体计算公式为：

Acc Pre Rec分别表示整体评估的正确率、准确率和召回率；

所述公式中c_i表示第i块的类标签，p_i均为第i块的块间比重，取值范围为[0，1]，w_i代表第i块的块内权重，取值范围为[0，1]，r_i代表分类器对第i块的分类结果；H(x)、M(x)、F(x,y)分别定义为：