[发明专利]一种提取网页正文的方法和装置

权利要求书

1.一种提取网页正文的方法，其特征在于，包括以下步骤：

获取页面段的开始标签和结束标签；

根据所述开始标签和结束标签确定所述页面段的开始位置和结束位置；

根据所述页面段的开始位置和结束位置之间各种形式内容的权值计算所述页面段的权值；

将网页中权值最大的页面段提取为网页正文。

2.根据权利要求1所述提取网页正文的方法，其特征在于，所述获取页面段的开始标签和结束标签包括：

查找标签，判断所述标签是否是开始标签或结束标签；

如果是，则进一步判断所述开始标签或结束标签是否是所述页面段的开始标签或结束标签；

获取所述页面段的开始标签和结束标签。

3.根据权利要求1所述提取网页正文的方法，其特征在于，

所述根据所述开始标签和结束标签确定所述页面段的开始位置和结束位置时还包括：根据所述开始标签确定所述页面段的开始位置时，保存所述页面段的开始位置，处理所述开始位置后的页面段的内容；根据所述结束标签确定所述页面段的结束位置时，保存所述页面段的结束位置、以及处理后的所述开始位置和结束位置之间的页面段的内容；以及

所述计算所述页面段的权值的步骤为：

计算保存的处理后的所述页面段的内容的权值。

4.根据权利要求1所述提取网页正文的方法，其特征在于，

所述根据所述开始标签和结束标签确定所述页面段的开始位置和结束位置后还包括：处理所述开始位置和结束位置之间的页面段的内容；保存所述页面段的开始位置和结束位置、以及处理后的所述页面段的内容；以及

所述计算所述页面段的权值的步骤为：

计算保存的处理后的所述页面段的内容的权值。

5.根据权利要求3或4所述提取网页正文的方法，其特征在于，所述页面段的内容包括无链接字符、链接字符、图片、附件和广告中的一种或多种。

6.根据权利要求1所述提取网页正文的方法，其特征在于，所述获取页面段的开始标签和结束标签之前还包括：

设置用户点击率高和/或内容更新频率快的网页，优先从所述用户点击率高和/或内容更新频率快的网页中提取网页正文。

7.一种提取网页正文的装置，其特征在于，包括：

获取模块，用于获取页面段的开始标签和结束标签；

分段模块，用于根据所述获取模块获取的开始标签和结束标签确定所述页面段的开始位置和结束位置；

计算模块，用于根据所述页面段的开始位置和结束位置之间各种形式内容的权值计算所述页面段的权值；

提取模块，用于将所述计算模块计算得出的所述网页中权值最大的页面段提取为网页正文。

8.根据权利要求7所述提取网页正文的装置，其特征在于，所述获取模块包括：

第一判断子模块，用于查找标签，判断所述标签是否是开始标签或结束标签；

第二判断子模块，用于在所述第一判断子模块判断所述标签是开始标签或结束标签后，进一步判断所述开始标签或结束标签是否是所述页面段的开始标签或结束标签；

获取子模块，用于获取所述页面段的开始标签或结束标签。

9.根据权利要求7或8所述提取网页正文的装置，其特征在于，还包括：

处理模块，用于处理所述分段模块确定的页面段的内容；

保存模块，用于保存所述分段模块确定的页面段的开始位置和结束位置、以及所述处理模块处理后的所述页面段的内容；

所述计算模块根据所述保存模块保存的所述内容计算所述页面段的权值。

10.根据权利要求9所述提取网页正文的装置，其特征在于，还包括：

预置模块，用于设置用户点击率高和/或内容更新频率快的网页；

所述获取模块优先从所述预置模块设置的所述用户点击率高和/或内容更新频率快的网页中获取页面段的开始标签和结束标签，供所述提取模块提取网页正文。