[发明专利]一种基于网页语义结构的网页分块方法

摘要

本发明提供一种基于网页语义结构的网页分块方法，涉及网页编辑领域；所述网页分块方法包括以下步骤：S1,将获取到的网页html源码进行预处理，建立DOM语法树；S2，对DOM树进行物理块识别和整合；S3，在物理块类型基础上进行网页识别及监测；S4，输出分块后的网页。本发明提供的网页分块方法能更准确识别网页页面类型以及网页块的重要度，方便过滤一些广告块和权重较低的块；方便对原网页进行重新排版，并输出结构化数据；根据不同类型网页切分网页块，提升了内容抽取的精准度。

主权项

1.一种基于网页语义结构的网页分块方法，其特征在于，包括以下步骤：/nS1, 将获取到的网页html源码进行预处理，建立DOM语法树；/nS2，对DOM语法树进行物理块识别和整合；/nS3，在物理块类型基础上进行网页识别及监测；/nS4，输出分块后的网页；/n步骤S2包括：/nS21，计算所述DOM语法树中每个节点的原子标签数量，识别物理块类型；/nS22，对识别出来的物理块中不符合标准的块进行整合；/n步骤S21中物理块类型包括原子块和原子集，其中原子块包括小图片块、大图片块、短文本块、长文本块、短外链接文本块、长外链接文本块、短链接文本块、长链接文本块、外链接图片块和链接图片块，原子集包括横向短链接原子集、纵向短链接原子集、横向长链接原子集、纵向长链接原子集、短文本原子集、长文本原子集、横向图片原子集、纵向图片原子集、正文原子集以及图片文字原子集；/n在进行判断原子块的数量时，首先判断是否是一个原子块，如果是，则直接构建原子块，进行物理块识别；若不是，则需要建立原子集，再进行物理块识别。/n