[发明专利]一种网页正文提取方法及装置

说明书

本发明公开了一种网页正文提取方法及装置，其通过对至少两个目标网页的正文抽取信息进行比较，并将所述至少两个目标网页的正文抽取信息中比较结果为相同的节点信息确认为网页杂质，所述至少两个目标网页属于同一类型网页；对所述同一类型网页按照所述网页杂质进行杂质信息过滤得到所述网页的正文信息。由于可确定同一类型目标网页的正文抽取信息中的杂质信息，进而根据所述杂质信息，对该同一类型的目标网页的正文抽取信息进行过滤最终可得到更精确的正文信息。

技术领域

本发明涉及互联网技术领域，更具体的说，本发明涉及一种网页正文提取方法及装置。

背景技术

目前，网页正文提取一般采用基于模板的抽取方式或者基于文字密度抽取的方式，即通过选择固定的节点或者根据具有正文特征的节点进行正文抽取。一般的，基于节点选取的正文抽取方案，首先通过网页抓取器抓取网页的源代码信息，然后将网页的源代码信息构建文档对象模型(DOM，Document Object Model)树，然后选取相应的节点提取出正文信息，比如某些网页的正文显示区域会固定在一个节点，则只需要找到这个正文节点，然后取出这个正文节点下的文本即可，但当需要剔除的杂质信息与正文信息紧密排列且在相同正文节点下时，现有技术则无法将杂质信息剔除而得到更精确的网页正文信息。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种网页正文抽取方法和相应的装置。

为了解决上述技术问题，本发明实施例提供的一种网页正文提取方法，其包括：

对至少两个目标网页的正文抽取信息进行比较，并将所述至少两个目标网页的正文抽取信息中比较结果为相同的节点信息确认为网页杂质，所述至少两个目标网页属于同一类型网页；

对所述同一类型网页按照所述网页杂质进行杂质信息过滤得到所述网页的正文信息。

其中，所述对至少两个目标网页的正文抽取信息进行比较，并将所述至少两个目标网页的正文抽取信息中比较结果为相同的节点信息确认为网页杂质具体包括；

提取第一个目标网页的正文抽取信息保存到该第一个目标网页所属类型对应的数据库中进行初始化；

提取下一个目标网页的正文抽取信息，并将其中各子节点信息与所述数据库中保存的目标网页的正文抽取信息中各子节点信息进行比较，所述下一个目标网页与所述第一个目标网页属于同一类型网页；

将比较结果为相同的子节点信息确认为网页杂质，并将所述下一个目标网页的正文抽取信息保存到数据库中；

返回执行提取下一个目标网页的正文抽取信息的步骤，直至遍历所有目标网页。

另外，还包括：

对保存到数据库中的所有子节点信息设置对应的计数器；

根据比较结果，每次将比较结果为相同的子节点信息确定为网页杂质；将比较结果为不同的子节点信息的计数器加一，当计数器的值达到阈值后，数据库中不再保存该计数器对应的子节点信息。

其中，所述子节点信息包括文本信息和/或图片；

所述将其中各子节点信息与所述数据库中保存的目标网页的正文抽取信息中各子节点信息进行比较是以子节点信息的文本信息的哈希编码值和/或图片链接信息进行比较。

另外，还包括：

对所述网页杂质设置对应的计数器；

当对所述同一类型网页按照所述网页杂质进行杂质信息过滤时，若所述同一类型网页的正文抽取信息中有与所述网页杂质相同的杂质信息时，将对应所述网页杂质的计数器清零，若所述同一类型网页的正文抽取信息中没有与所述网页杂质相同的杂质信息时，将对应所述网页杂质的计数器加一，当计数器的值达到阈值后，不再保存该计数器对应的网页杂质。