[发明专利]一种网页正文的识别处理方法及装置

说明书

本发明实施例公开了一种网页正文的识别处理方法及装置，方法包括：获取待识别网页的网页源码，清除所述网页源码中所有的网页标签，得到包括空白行的网页文本；根据空白行对所述网页文本进行分块，得到若干个文字区块，各文字区块之间为空白行；统计各文字区块的文字数量，根据各文字区块的文字数量确定网页正文的边界，并根据网页正文的边界识别所述待识别网页中的网页正文。本发明实施例通过统计各文字区块的文字数量来确定网页正文的边界，并根据边界识别待识别网页中的网页正文，适应于所有类型的网页正文提取，提取过程简单，大大提高了网页正文提取的准确性和泛化性。

技术领域

本发明涉及计算机技术领域，具体涉及一种网页正文的识别处理方法及装置。

背景技术

当前网页正文提取主要采用DOM(Document Object Model，文档对象模型)解析网页HTML(HyperText Markup Language，超文本标记语言)源码，把HTML解析为一个树结构。通过分析树结构，并基于一定的设定规则提取网页正文。但是，网页HTML结构千变万化，每一个网页设计都不一样，例如电商和新闻报道的网站结构就很不相同。

因此，现有的网页正文的提取方法稳定性太低，对有些类型的网页提取准确，而对另一些类型的网页提取则不准确，可能提取到网页边缘的一些信息，泛化能力不强。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种网页正文的识别处理方法及装置。

第一方面，本发明实施例提出一种网页正文的识别处理方法，包括：

获取待识别网页的网页源码，清除所述网页源码中所有的网页标签，得到包括空白行的网页文本；

根据空白行对所述网页文本进行分块，得到若干个文字区块，各文字区块之间为空白行；

统计各文字区块的文字数量，根据各文字区块的文字数量确定网页正文的边界，并根据网页正文的边界识别所述待识别网页中的网页正文。

可选地，所述根据各文字区块的文字数量确定网页正文的边界，具体包括：

根据当前文字区块的文字数量与上一个文字区块的文字数量，计算得到当前文字区块与上一个文字区块的文字数量差值；

若所述文字数量差值大于阈值，则确定当前文字区块的起始位置或上一个文字区块的结束位置为网页正文的边界。

可选地，所述若所述文字数量差值大于阈值，则确定当前文字区块的起始位置或上一个文字区块的结束位置为网页正文的边界，具体包括：

若所述文字数量差值为正数，则确定当前文字区块的起始位置为网页正文的开始边界；

若所述文字数量差值为负数，则确定上一个文字区块的结束位置为网页正文的结束边界。

可选地，所述根据网页正文的边界识别所述待识别网页中的网页正文，具体包括：

将每个网页正文的开始边界与下一个结束边界之间的文字识别为正文部分；

将所有正文部分进行合并，得到所述待识别网页中的网页正文。

可选地，所述网页正文的识别处理方法还包括：

若判断网页正文的开始边界和结束边界的数量相等，且开始边界和结束边界间隔出现，则确定网页正文的开始边界和结束边界识别正确。

可选地，所述阈值根据空白区块的平均数量或文字区块的平均数量确定；

其中，所述空白区块的平均数量为每个空白区块的字符数量的平均值；

所述文字区块的平均数量为每个文字区块的文字数量的平均值。