[发明专利]网页正文抽取方法及装置

权利要求书

1.一种网页正文抽取方法，其特征在于，包括：

提取网页HTML源码中的title标签中的文本，以及h标签中的文本；

根据所述title标签中的文本以及所述h标签中的文本的文本相似度确定正文标题；

提取网页HTML源码中的body标签中的标签源码；

对所述body标签中的标签源码进行第一抽取处理，获取第一网页正文，其中：所述第一抽取处理至少包括利用所述body标签中的标签源码中每一行的行文本密度、行文本与所述正文标题的文本相似度以及行文本的中文字数进行去噪处理；

确定行块分布函数，并根据所述行块分布函数抽取文本块；

对所述文本块进行第二抽取处理，获取第二网页正文，其中：所述第二抽取处理至少包括利用所述文本块与所述正文标题的块文本相似度进行过滤处理；

其中，所述确定行块分布函数，并根据所述行块分布函数抽取文本块包括：

按照固定文本块的块长对所述第一网页正文进行分块，计算每个行块中文本的字符数后构造出行块分布函数；

确定骤升点和骤降点，抽取位于所述骤升点和所述骤降点内的文本块。

2.根据权利要求1所述的方法，其特征在于，所述第一抽取处理在利用所述body标签中的标签源码中每一行的行文本密度、行文本与所述正文标题的文本相似度以及行文本的中文字数进行去噪处理之后，还包括以下至少之一：

去除HTML编码处理、去除JavaScript脚本处理和去除特殊字符处理。

3.根据权利要求2所述的方法，其特征在于，所述根据所述行块分布函数抽取文本块包括：

记录第一个加入抽取结果的文本块的编号；

计算当前文本块与所述第一个加入抽取结果的文本块之间的距离，获得第三计算结果；

如果所述第三计算结果大于等于第三预设阈值，则判断当前文本块为噪声，进行去噪处理。

4.根据权利要求1所述的方法，其特征在于，所述第二抽取处理在利用所述文本块与所述正文标题的块文本相似度进行过滤处理之后，还包括：

计算经过所述利用所述文本块与所述正文标题的块文本相似度进行过滤处理之后的网页正文中的每一行与所述正文标题的行文本相似度，并计算行平均文本相似度，获得第五计算结果；

如果所述第五计算结果小于第五预设阈值，则根据所述行文本相似度对所述每一行进行行过滤处理。

5.一种网页正文抽取装置，其特征在于，包括：

提取模块，用于提取网页HTML源码中的title标签中的文本，以及h标签中的文本；

确定模块，用于根据所述title标签中的文本以及所述h标签中的文本的文本相似度确定正文标题；

所述提取模块，还用于提取网页HTML源码中的body标签中的标签源码；

抽取模块，用于对所述body标签中的标签源码进行第一抽取处理，获取第一网页正文，其中：所述第一抽取处理至少包括利用所述body标签中的标签源码中每一行的行文本密度、行文本与所述正文标题的文本相似度以及行文本的中文字数进行去噪处理；

所述确定模块，还用于确定行块分布函数；

所述抽取模块，还用于根据所述行块分布函数抽取文本块；对所述文本块进行第二抽取处理，获取第二网页正文，其中：所述第二抽取处理至少包括利用所述文本块与所述正文标题的块文本相似度进行过滤处理；

其中，所述确定模块，用于通过如下方式确定行块分布函数：

按照固定文本块的块长对所述第一网页正文进行分块，计算每个行块中文本的字符数后构造出行块分布函数；确定骤升点和骤降点；

所述抽取模块，用于通过如下方式根据所述行块分布函数抽取文本块：

抽取位于所述骤升点和所述骤降点内的文本块。

6.根据权利要求5所述的装置，其特征在于，所述抽取模块，还用于在利用所述body标签中的标签源码中每一行的行文本密度、行文本与所述正文标题的文本相似度以及行文本的中文字数进行去噪处理之后，进行以下至少之一的处理：

去除HTML编码处理、去除JavaScript脚本处理和去除特殊字符处理。