[发明专利]网页正文获取方法、装置、存储介质及电子设备

说明书

本公开提供了一种网页正文获取方法、装置、存储介质及电子设备，涉及互联网技术领域。该方法包括：获取目标网页的网页源码；根据网页源码构建对应的DOM树；根据DOM树中各个子节点的文本密度，生成对应的节点列表；针对目标网页中包含的至少一个标题中的每个标题，在节点列表中存在与当前标题匹配的正文节点的情况下，至少根据正文节点对应的正文内容与正文节点对应的正文标题在目标网页中的位置关系，定位正文内容在目标网页中的位置并获取正文内容。

技术领域

本公开涉及互联网技术领域，具体地，涉及一种网页正文获取方法、装置、存储介质及电子设备。

背景技术

随着数据时代的到来，越来越多的信息需要在网页上获取，而繁琐复杂的网页布局对我们浏览或获取网页中的重要信息及其困难，如对于一些公告类、新闻类的数据而言，如何在网页中快速定位从而获取需要的信息至关重要。

发明内容

本公开提供了一种网页正文获取方法、装置、存储介质及电子设备，用于在网页中快速定位并获取需要的信息。

本公开实施例的第一方面，提供了一种网页正文获取方法，包括：

获取目标网页的网页源码；

根据所述网页源码构建对应的DOM树；

根据所述DOM树中各个子节点的文本密度，生成对应的节点列表；

针对所述目标网页中包含的至少一个标题中的每个标题，在所述节点列表中存在与当前标题匹配的正文节点的情况下，至少根据所述正文节点对应的正文内容与所述正文节点对应的正文标题在所述目标网页中的位置关系，定位所述正文内容在所述目标网页中的位置并获取所述正文内容。

可选地，至少根据所述正文节点对应的正文内容与所述正文节点对应的正文标题在所述目标网页中的位置关系，定位所述正文内容在所述目标网页中的位置并获取所述正文内容，包括：

根据所述正文节点的至少一个祖先节点，以及所述正文节点对应的正文内容与所述正文节点对应的正文标题在所述目标网页中的位置关系，定位所述正文内容在所述目标网页中的位置并获取所述正文内容。

可选地，通过以下操作获取所述DOM树中各个子节点的文本密度：

针对所述DOM树中每个子节点，基于对应子节点中包含的标题的个数以及每个标题对应的文本中包含的字符的个数进行对数运算，以得到所述对应子节点的文本密度。

可选地，通过以下操作确定所述节点列表中与所述当前标题匹配的正文节点：

确定所述节点列表中与所述当前标题的相关度达到预设值且为非网页锚点的第一目标节点；

将所述第一目标节点作为与所述当前标题匹配的正文节点。

可选地，还包括：

在所述节点列表中不存在与所述当前标题匹配的正文节点的情况下，循环遍历所述节点列表，直至遍历次数达到预设次数，以确定所述节点列表中与所述当前标题相关度最高的第二目标节点；

将所述第二目标节点作为对应所述当前标题的正文节点；

至少根据所述正文节点对应的正文内容与所述正文节点对应的正文标题在所述目标网页中的位置关系，定位所述正文内容在所述目标网页中的位置并获取所述正文内容。

可选地，还包括，通过以下方式中的至少之一获取所述目标网页中包含的所述至少一个标题中的每个标题：

根据目标网页中标题的标签特征，获取所述目标网页中包含的所述至少一个标题中的每个标题；

通过获取随所述目标网页的URL或者随所述网页源码输入的标题，获取所述目标网页中包含的所述至少一个标题中的每个标题。