[发明专利]一种基于分块的网页正文信息提取方法

摘要

本发明提出了一种基于分块的网页正文信息提取方法，包括以下步骤：（1）网页标准化；（2）构造标签树；（3）将网页分割成块；（4）提取含有正文的块。本发明通过对网页进行分块和对内容块的取舍进行信息提取，网页分块采用自底向上分析标签树的自动分块算法，该方法比现有技术更准确，对复杂结构的页面分块效果更好，同时通过块的重要度和块特征分析每个内容块，来提取用户所需信息，准确性高，效果好。

主权项

1.一种基于分块的网页正文信息提取方法，其特征在于：包括以下步骤：网页标准化：首先对HTML代码进行预处理，将其标准化；构造标签树：将整理好的规范网页构造标签树，将网页中的标签按照嵌套关系整理成一棵树状结构，在构造的过程中保留每个节点的视觉属性，同时，对标签树做裁剪，将无关节点删除；将网页分割成块，依据网页中内容块标签作为容器标签对网页进行划分；a、通过统计标签树上的各种容器标签的数量进行统计，判断网页是采用哪种容器标签来做布局；b、考察最底层容器标签节点，将标签树最底层的节点下的所有文本节点合并，并统计该块的信息含量，同时考察视觉特征；c、考察每个底层节点的上一层节点，并计算该节点的信息含量，判断该节点能否成为分块节点；提取含有正文的块分块结束后，对内容块根据用户的不同需要进行取舍，取出含有正文信息的内容块。