[发明专利]网页正文提取的方法和装置

权利要求书

1.一种网页正文提取的方法，其特征在于，包括：

提取并记录网页中包括的待处理标签及每个待处理标签所处路径的路径信息；

基于所述路径信息对所述待处理标签分组，以确定多个标签组；

计算每一标签组包括的有效文本信息的有效长度信息，以及每一标签组内每一待处理标签的平均有效长度信息；

基于所述平均有效长度信息，对每一标签组内的多个待处理标签进行排序，确定每一标签组内排序前预定位置的多个第一候选标签；

基于每个标签组包括的所述多个第一候选标签确定候选标签范围，提取所述候选标签范围中的文本信息。

2.根据权利要求1所述的网页正文提取的方法，其特征在于，提取并记录网页中包括的待处理标签及每个待处理标签所处路径的路径信息，包括：

提取网页中包括的全部标签，将所述全部标签中包括的预定忽略标签进行删除，确定网页中包括的待处理标签；

提取并记录每个待处理标签所处路径的路径信息。

3.根据权利要求1或2所述的网页正文提取的方法，其特征在于，基于所述路径信息对所述待处理标签分组，包括：

将处于同一路径的待处理标签分至同一组。

4.根据权利要求1-3中任一项所述的网页正文提取的方法，其特征在于，计算每一标签组内每一待处理标签的平均有效长度信息，具体包括：

根据每一标签组的有效长度信息及该标签组内每一待处理标签所处路径的标签个数，计算每一标签组内每一待处理标签的平均有效长度信息。

5.根据权利要求1-4中任一项所述的网页正文提取的方法，其特征在于，对每一标签组内的多个待处理标签进行排序，还包括：

判断每一标签组内多个待处理标签包括的文本信息中是否包括预定模板类文本信息；

当判断任一待处理标签包括所述预定模板类文本信息时，将该待处理标签按照预定降序规则降低其排序位置。

6.根据权利要求1-5中任一项所述的网页正文提取的方法，其特征在于，对每一标签组内的多个待处理标签进行排序，还包括：

判断每一标签组内多个待处理标签是否包括预定连续格式标签；

当判断多个待处理标签包括所述预定连续格式标签时，将该预定连续格式待处理标签的按照预定降序规则降低其排序位置。

7.根据权利要求1-6中任一项所述的网页正文提取的方法，其特征在于，基于每个标签组包括的所述多个第一候选标签所确定候选标签范围，包括：

提取所述多个第一候选标签所在位置的预定上下文范围内的多个第二候选标签；

根据所述第一候选标签和第二候选标签确定候选标签范围。

8.一种抽取新闻类或小说类网页中新闻或小说正文内容的方法，其特征在于，包括：

提取并记录新闻类或小说类网页中包括的待处理标签及每个待处理标签所处路径的路径信息；

基于所述路径信息对所述待处理标签分组，以确定多个标签组；

计算每一标签组包括的有效文本信息的有效长度信息，以及每一标签组内每一待处理标签的平均有效长度信息；

基于所述平均有效长度信息，对每一标签组内的多个待处理标签进行排序，确定每一标签组内排序前预定位置的多个第一候选标签；

基于每个标签组包括的所述多个第一候选标签确定候选标签范围，提取所述候选标签范围中的新闻或小说正文信息。

9.一种网页正文提取的装置，其特征在于，包括：

路径提取模块，用于提取并记录网页中包括的待处理标签及每个待处理标签所处路径的路径信息；

分组模块，用于基于所述路径信息对所述待处理标签分组，以确定多个标签组；

计算模块，用于计算每一标签组包括的有效文本信息的有效长度信息，以及每一标签组内每一待处理标签的平均有效长度信息；

排序模块，用于基于所述平均有效长度信息，对每一标签组内的多个待处理标签进行排序，确定每一标签组内排序前预定位置的多个第一候选标签；

文本提取模块，用于基于每个标签组包括的所述多个第一候选标签确定候选标签范围，提取所述候选标签范围中的文本信息。

10.一种网页提取服务器，其特征在于，包括：

网页获取模块，用于从新闻网站或小说网站提供的数据接口中获取新闻类网页或者小说类网页；

网页正文提取模块，用于从所述新闻类网页或者小说类网页中提取新闻类网页或者小说类网页的网页正文信息；其中，提取新闻类网页或者小说类网页的网页正文信息，具体包括：

提取并记录新闻类或小说类网页中包括的待处理标签及每个待处理标签所处路径的路径信息；

基于所述路径信息对所述待处理标签分组，以确定多个标签组；

计算每一标签组包括的有效文本信息的有效长度信息，以及每一标签组内每一待处理标签的平均有效长度信息；

基于所述平均有效长度信息，对每一标签组内的多个待处理标签进行排序，确定每一标签组内排序前预定位置的多个第一候选标签；

基于每个标签组包括的所述多个第一候选标签确定候选标签范围，提取所述候选标签范围中的新闻或小说正文信息；

网页正文提供模块，用于当接收来自用户设备发送新闻信息或小说信息获取请求时，响应于所述新闻信息或小说信息获取请求，将与所述新闻信息或小说信息获取请求相匹配的新闻或小说正文信息反馈至所述用户设备。