[发明专利]一种网页正文的识别处理方法及装置

权利要求书

1.一种网页正文的识别处理方法，其特征在于，包括：

获取待识别网页的网页源码，清除所述网页源码中所有的网页标签，得到包括空白行的网页文本；

根据空白行对所述网页文本进行分块，得到若干个文字区块，各文字区块之间为空白行；

统计各文字区块的文字数量，根据各文字区块的文字数量确定网页正文的边界，并根据网页正文的边界识别所述待识别网页中的网页正文。

2.根据权利要求1所述的网页正文的识别处理方法，其特征在于，所述根据各文字区块的文字数量确定网页正文的边界，具体包括：

根据当前文字区块的文字数量与上一个文字区块的文字数量，计算得到当前文字区块与上一个文字区块的文字数量差值；

若所述文字数量差值大于阈值，则确定当前文字区块的起始位置或上一个文字区块的结束位置为网页正文的边界。

3.根据权利要求2所述的网页正文的识别处理方法，其特征在于，所述若所述文字数量差值大于阈值，则确定当前文字区块的起始位置或上一个文字区块的结束位置为网页正文的边界，具体包括：

若所述文字数量差值为正数，则确定当前文字区块的起始位置为网页正文的开始边界；

若所述文字数量差值为负数，则确定上一个文字区块的结束位置为网页正文的结束边界。

4.根据权利要求3所述的网页正文的识别处理方法，其特征在于，所述根据网页正文的边界识别所述待识别网页中的网页正文，具体包括：

将每个网页正文的开始边界与下一个结束边界之间的文字识别为正文部分；

将所有正文部分进行合并，得到所述待识别网页中的网页正文。

5.根据权利要求3所述的网页正文的识别处理方法，其特征在于，所述网页正文的识别处理方法还包括：

若判断网页正文的开始边界和结束边界的数量相等，且开始边界和结束边界间隔出现，则确定网页正文的开始边界和结束边界识别正确。

6.根据权利要求2所述的网页正文的识别处理方法，其特征在于，所述阈值根据空白区块的平均数量或文字区块的平均数量确定；

其中，所述空白区块的平均数量为每个空白区块的字符数量的平均值；

所述文字区块的平均数量为每个文字区块的文字数量的平均值。

7.根据权利要求1所述的网页正文的识别处理方法，其特征在于，所述获取待识别网页的网页源码，清除所述网页源码中所有的网页标签，得到包括空白行的网页文本，具体包括：

通过网络爬虫爬取待识别网页的网页源码，根据预设标签识别所述网页源码中所有的网页标签并清除，得到包括空白行的网页文本。

8.一种网页正文的识别处理装置，其特征在于，包括：

标签清除模块，用于获取待识别网页的网页源码，清除所述网页源码中所有的网页标签，得到包括空白行的网页文本；

文本分块模块，用于根据空白行对所述网页文本进行分块，得到若干个文字区块，各文字区块之间为空白行；

边界确定模块，用于统计各文字区块的文字数量，根据各文字区块的文字数量确定网页正文的边界，并根据网页正文的边界识别所述待识别网页中的网页正文。

9.根据权利要求8所述的网页正文的识别处理装置，其特征在于，所述边界确定模块具体用于：

根据当前文字区块的文字数量与上一个文字区块的文字数量，计算得到当前文字区块与上一个文字区块的文字数量差值；

若所述文字数量差值大于阈值，则确定当前文字区块的起始位置或上一个文字区块的结束位置为网页正文的边界。

10.根据权利要求9所述的网页正文的识别处理装置，其特征在于，所述边界确定模块具体用于：

若所述文字数量差值为正数，则确定当前文字区块的起始位置为网页正文的开始边界；

若所述文字数量差值为负数，则确定上一个文字区块的结束位置为网页正文的结束边界。