[发明专利]一种网页正文提取方法、装置、计算机装置及计算机可读存储介质

说明书

本发明适用于互联网技术领域，提供了一种网页正文提取方法、装置、计算机装置及计算机可读存储介质，该网页正文提取方法包括：构建DOM树，根据DOM树中的h标签的文本与title标签的文本的相似度，确定网页标题位置；对所述DOM树进行过滤，获取行块列表；通过所述行块列表中行块与所述网页标题位置，确定网页正文区域；根据所述网页正文区域，确定网页正文的开始位置和结束位置，并提取所述开始位置与所述结束位置之间的文本为网页正文。本发明实施例提供的网页正文抽取方法，提高了正文抽取的准确度以及正文抽取的效率，正文抽取方法适用范围更广。

技术领域

本发明属于互联网技术领域，尤其涉及一种网页正文提取方法、装置、计算机装置及计算机可读存储介质。

背景技术

随着互联网技术的发展，人们对有效的网页信息的需求也越来越高。现有网页一般包括很多信息，如导航、标题、正文、广告等内容，而这些内容中，我们关注的通常为正文的信息，因此需要对网页进去去燥处理，以尽可能精准的提取网页正文的信息。

现有技术中的网页正文提取方法，一般分为以下两种，一种为：通过文字占所有字符的比例、文字个数、标点符号个数等过滤条件来进行正文抽取，但此种方法由于不同语言标点符号的不一致性(如：有些标点符号对英语、西班牙语的等适用，但是对中文不适用)，以及不同的网站文字个数、文字占所有字符的比例等阈值的不一致性等原因，导致抽取准确性较差；

另一种为：采用基于模板的正文抽取方法，但是此种方法由于模板需要人工配置，且不同的网页样式需配置不同的模板，当网页种类比较多时，需要大量的人力，正文抽取准确率较低，且正文抽取效率低。

发明内容

本发明实施例提供一种网页正文提取方法，旨在解决现有技术中网页正文抽取准确率低的问题。

本发明实施例是这样实现的，一种网页正文提取方法，所述网页正文提取方法包括：

构建DOM树，根据所述DOM树中的h标签的文本与title标签的文本的相似度，确定网页标题位置；

对所述DOM树进行过滤，获取行块列表；

通过所述行块列表中行块与所述网页标题位置，确定网页正文区域；

根据所述网页正文区域，确定网页正文的开始位置和结束位置，并提取所述开始位置与所述结束位置之间的文本为网页正文。

本发明实施例还提供一种网页正文提取装置，所述网页正文提取装置包括：

网页标题确定单元，用于构建DOM树，根据所述DOM树中的h标签的文本与title标签的文本的相似度，确定网页标题位置；

行块列表获取单元，用于对所述DOM树进行过滤获取行块列表；

网页正文区域确定单元，用于通过所述行块列表中行块与所述网页标题位置，确定网页正文区域；

网页正文提取单元，用于根据所述网页正文区域，确定网页正文的开始位置和结束位置，并提取所述开始位置与所述结束位置之间的文本为网页正文。

本发明实施例还提供一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述所述网页正文提取方法的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述网页正文提取方法的步骤。