[发明专利]一种网页去噪的方法

说明书

本发明公开了一种网页去噪的方法，包括：导入网页，获取网页的DOM树结构信息、视觉信息和文本内容；判断节点类型，计算节点纯度；拆分DOM树提取初级视觉块，对初级视觉块集合进行邻域分析与融合，形成视觉块集合，校验视觉块集合，校验后输出提取视觉块；抽取视觉块特征；对视觉块进行分类，将视觉块的分类标签以节点属性的方式写入视觉块所包含的DOM子树的所有节点，直至叶子节点，检查、修改标注文件并输出；从节点的类别标签推导出视觉块的类别标签，使用视觉块特征和视觉块类别标签训练分类器，评估网页去噪效果；采用分类器对视觉块分类，将分类结果转化为节点的分类结果，根据节点的分类结果剔除网页中的无效内容，输出网页去噪结果并保存。

技术领域

本发明涉及文档信息自动抽取技术领域，尤其涉及一种网页去噪的方法。

背景技术

现有随着互联网迅猛发展，互联网应用已经深入到我国的经济、社会、文化、教育以及娱乐等各个方面，成为人们生活中不可或缺的组成部分。网页中包含着丰富的内容，既有用户想要浏览的主题信息，也有对用户形成干扰与主题无关的信息，如页面导航条、推荐链接、广告条、版权声明等，后者通常被称为网页噪声。据相关文献估算，噪声数据在网页中占了40％～50％的比例，并且这个比例还以每年6％～8％的比例增长。网页噪声比重的持续增大给网页信息检索带来很大的难题，也对诸如网页知识挖掘、话题检测、个性化推荐等任务造成很大的影响。因此，去除网页噪声、抽取网页信息是一个重要的基础性工作。

根据网页的文本、图片和超链接等内容在页面上的布局结构，网页可分为索引型、论坛型和主题型三种。三种结构的网页分工不同，样式也不同。索引型网页一般为网站的首页，用于展示网站的主要功能显示网站的最新信息，此类网页的特点是分块多、栏目多、结构复杂、内容多；论坛型网页用列表进行信息展示，每页展示若干条记录常有分页功能；主题型网页拥有一个明确的主题，集中反映一个方面的内容，是一个网站最基础的页面。

DOM(Document Object Model)是W3C制定的网页文档标准，全称是文档对象模型，大多数网页遵守这一标准，本文也基于DOM对网页展开研究。采用DOM标准可以独立于平台和语言来访问或修改文档的结构和内容，文档可以是HTML、XML、XHTML。使用DOM表示的网页被描述为一个树结构，基本要素是节点。DOM树节点的概念很宽泛，它可以是文档、元素、属性、注释等。

现有的去除网页噪声方法包括基于统计理论的方法、基于DOM树结构的方法、基于包装器归纳的方法和基于视觉特征的方法等。视觉特征是网页中一类非常重要的特征，利用视觉特征能够更好地模拟人对网页内容的识别，这是仅基于DOM树结构或统计方法无法达到的。现有基于视觉特征的方法，主要使用启发式规则对网页进行分块，但由于网页形式多样布局多变，这些方法并不通用。

发明内容

为解决上述技术问题，本发明的目的是提供一种网页去噪的方法。

本发明的目的通过以下的技术方案来实现：

一种网页去噪的方法，包括：

导入网页，获取网页的DOM树结构信息、视觉信息和文本内容；所述DOM树结构信息、视觉信息和文本内容中包括节点的相关信息；

判断节点类型，计算节点纯度；

拆分DOM树提取初级视觉块，并对初级视觉块集合进行邻域分析与融合，形成视觉块集合，校验视觉块集合，校验后输出提取视觉块；

抽取视觉块特征；

对视觉块进行分类，将视觉块的分类标签以节点属性的方式写入视觉块所包含的DOM子树的所有节点，直至叶子节点，检查、修改标注文件并输出；

从节点的类别标签推导出视觉块的类别标签，使用视觉块特征和视觉块类别标签训练分类器，并评估网页去噪效果；