[发明专利]网页分割方法、装置及电子设备

说明书

本发明提供的一种网页分割方法、装置及电子设备，涉及网页分割技术领域。对第一HTML文档进行规范化处理，获得规范化后的第二HTML文档；基于第二HTML文档以及预设的行深度计算规则，获取以行号为索引的行深度表；获取第二HTML文档中标题内容，建立以行号为索引的标题表；然后基于去除第二HTML文档中所有标签后的文本信息及预设的行块定义规则，获得文本信息对应的多个行块，再计算多个行块各自对应的行块长度，以建立行块分布函数；基于行块分布函数及以行号为索引的标题表，获取多个标题块；基于多个标题块、以行号为索引的行深度表及预设的合并块规则，对第一HTML文档进行合并块处理，减少时间复杂度和空间复杂度。

技术领域

本发明涉及网页分割技术领域，具体而言，涉及一种网页分割方法、装置及电子设备。

背景技术

目前提出了很多网页分割算法，例如微软亚洲研究院提出了一种基于视觉特征的网页分割方法(VIPS)首先将整个网页表示成一棵DOM树，根据颜色大小等网页版面特征，利用横竖线条将DOM树节点所对应的分块在网页中分隔开来，构成网页的标准分块。每个节点通过一致度(DOC)来衡量它与其他节点的语义相关性，从而将相关的分块聚集在一起；利用预先设定的一致度(PDOC)作为阈值控制分割粒度，当所有网页的DOC都不小于PDOC时，网页分割就可以停止。再如基于文档对象模型(DOM)的分割方法：DOM树建树和查找节点中的信息将花费大量时间，而且由于部分网页没有遵循标准W3C的规范，这样可能会导致DOM树的建树错误，因此这一类算法也有很大的局限性。现有的网页分割算法需要考虑大量的网页内容和视觉信息，都需要构建DOM树，在DOM树的基础上执行网页分割的算法，时间复杂度较大。

发明内容

有鉴于此，本发明实施例的目的在于提供一种网页分割方法、装置及电子设备，以改善上述问题。为了实现上述目的，本发明实施例采取的技术方案如下：

第一方面，本发明实施例提供了一种网页分割方法，所述方法包括对获取到的待分割网页对应的第一HTML文档进行规范化处理，获得规范化后的第二HTML文档；基于所述第二HTML文档以及预设的行深度计算规则，获取所述第二HTML文档对应的以行号为索引的行深度表；获取所述第二HTML文档中标题内容，建立以行号为索引的标题表；基于去除所述第二HTML文档中所有标签后的文本信息及预设的行块定义规则，获得所述文本信息对应的多个行块，再计算所述多个行块各自对应的行块长度，以建立行块分布函数；基于所述行块分布函数及所述以行号为索引的标题表，获取多个标题块；基于所述多个标题块、所述以行号为索引的行深度表及预设的合并块规则，对所述第一HTML文档进行合并块处理，以实现对所述获取到的待分割网页进行分割，重新组织成为新的网页。

第二方面，本发明实施例提供了一种网页分割装置，所述装置包括规范化处理单元、行深度表获得单元、标题表建立单元、行块分布函数建立单元、标题块获得单元和合并单元。规范化处理单元，用于对获取到的待分割网页对应的第一HTML文档进行规范化处理，获得规范化后的第二HTML文档。行深度表获得单元，用于基于所述第二HTML文档以及预设的行深度计算规则，获取所述第二HTML文档对应的以行号为索引的行深度表。标题表建立单元，用于获取所述第二HTML文档中标题内容，建立以行号为索引的标题表。行块分布函数建立单元，用于基于去除所述第二HTML文档中所有标签后的文本信息及预设的行块定义规则，获得所述文本信息对应的多个行块，再计算所述多个行块各自对应的行块长度，以建立行块分布函数。标题块获得单元，用于基于所述行块分布函数及所述以行号为索引的标题表，获取多个标题块。合并单元，用于基于所述多个标题块、所述以行号为索引的行深度表及预设的合并块规则，对所述第一HTML文档进行合并块处理，以实现对所述获取到的待分割网页进行分割，重新组织成为新的网页。