[发明专利]提取网页内容的方法和装置

说明书

技术领域

本发明涉及网页处理，更具体地说，本发明涉及提取网页内容的装置和 方法。

背景技术

如今，因特网已经成为最大的信息来源，人们的日常生活越来越依赖于 网络。随着网络的普及，网页内容提取(也称为网页分割)的应用越来越广 泛。

举例来说，网页内容提取可以使得网页搜索的速度更快，结果更加精确。 和传统的文本文档相比，网页的内容更加多样化，同一个网页的不同区域可 以包含不同的主题。而且，出于浏览和发布的需要，网页中往往包含很多和 主题无关的内容，如广告、导航条、装饰、版权信息以及联系方法等。由于 网页的以上特征，相较于把整个网页作为一个信息检索单元，通过对网页进 行分割，把每个分割单元作为独立的信息检索单元会使网页搜索结果更加精 确。并且，通过网页分割可以排除与网页主题无关的内容，从而使网页搜索 的速度更快，结果更加精确。

再例如，网页内容提取也可用于在手持设备上浏览网页。近年来，手持 设备，如掌上电脑、个人数字助理(PDA)、移动电话等发展迅速。但是使 用手持设备上网仍然很大程度上受到显示器过小的限制。传统的网页都是针 对个人计算机设计的，对于手持设备用户来说，如果需要不停地滚动网页来 寻找所需的信息，上网将变得枯燥和费事。通过网页分割，可以将网页的内 容一块一块地显示在手持设备上，从而解决了这一问题。

此外，如果用户需要使用已有文档来产生新的文档，则对已有的版面进 行分割是必不可少的步骤。

由于其广泛的应用背景，用户对于网页内容提取的需求很大。研究人员 已经提出了一些用于网页内容提取的系统和方法。

例如，美国专利申请公开No.2006/0149775A1公开了一种基于文档的可 视模型分割文档的方法。在该方法中，根据文档中可视的空白或间隙来确定 可视模型，利用该可视模型确定文档的层次结构，并利用所确定的层次结构 进行文档分割。但是对于那些逻辑结构和物理结构不一致的文档，该方法容 易造成错误分割。

再例如，美国专利申请公开No.2006/0106798A1公开了一种自上而下的、 和标签树无关的用于检测网页结构的方法。该方法基于目标的尺寸、位置、 颜色以及背景等，通过投影的方法把文档分成若干块，之后，通过比较块之 间的视觉相似程度来判断是否继续分为更小的块或与其他块合并。

现有的文档内容提取方法主要可以分为两类。第一类方法专注于文档图 像处理，通过图像处理的方法来实现文档内容提取，本文中将其称为文档图 像处理(DIR)方法。第二类方法专注于文档文件格式分析，通过分析输入 文件描述的文档结构来提取内容，本文中将这类方法称为数字文档分析 (DDA)。但是无论是DDA方法还是DIR方法都有其自己的局限性。

参考文献

专利文献1：美国专利申请公开No.2003/0215136A1，METHOD AND SYSTEM FOR DOCUMENT SEGMENTATION，Hui Chao等，2003年11月 20日；

专利文献2：美国专利申请公开No.2006/0149775A1，DOCUMENT SEGMENTATION BASED ON VISUAL GAPS，Daniel Egnor，2006年7月6 日；

专利文献3：美国专利申请公开No.2006/0106798A1，VISION-BASED DOCUMENT SEGMENTATION，Ji-Rong Wen等，2006年5月18日；

非专利文献1：JL Fisher，SC Hinds and DP D’amato，“A rule-based system for document image segmentation”，Proc.10th ICPR，第567-572页，1990年7 月；

非专利文献2：Deng Cai，Shipeng Yu，Ji-Rong Wen and Wei-Ying Ma， “Extracting Content Structure for Web Pages based on Visual Representation”， The Fifth Asia Pacific Web Conference(APWeb2003)，2003年。

发明内容