[发明专利]网站正文提取的方法和装置

权利要求书

1.一种网站正文提取的方法，其特征在于，包括：

从网站的每个网页中提取节点信息；

将所述节点信息确定为第一节点信息或第二节点信息，其中，所述第一节点信息为包含网页正文文本的节点信息，所述第二节点信息为不包含网页正文文本的节点信息；

提取所述第一节点信息中的网页正文文本；

根据所述第一节点信息对目标网页重新提取符合预设条件的节点信息，其中，所述目标网页为提取出所述第二节点信息的网页；

将重新提取到的节点信息所包含的文本作为所述目标网页的网页正文文本；

以及，从所述网站的每个网页中提取节点信息包括：获取每个所述网页中所有节点信息所包含的文本；将包含的文本长度最长的节点信息作为从所述网页中提取的节点信息，得到多个节点信息；

以及，将所述节点信息确定为第一节点信息或第二节点信息包括：将所述多个节点信息中具有相同ID信息的数量最多的节点信息作为所述第一节点信息；将所述多个节点信息中除所述第一节点信息以外的节点信息作为所述第二节点信息。

2.根据权利要求1所述的方法，其特征在于，根据所述第一节点信息对目标网页重新提取符合预设条件的节点信息包括：

获取所述目标网页中所有节点信息的属性；

从所述所有节点信息的属性中查找与所述第一节点信息的属性相同的节点信息。

3.根据权利要求1所述的方法，其特征在于，将所述节点信息确定为第一节点信息或第二节点信息包括：

获取从所述网站的每个网页中提取的节点信息的属性；

根据所述节点信息的属性确定所述节点信息为第一节点信息或者第二节点信息，其中，所述节点信息的属性包括ID信息。

4.根据权利要求1所述的方法，其特征在于，在根据所述第一节点信息对目标网页重新提取符合预设条件的节点信息之后，所述方法还包括：

如果对目标网页无法重新提取出节点信息，则记录所述目标网页的地址。

5.一种网站正文信息提取的装置，其特征在于，包括：

第一提取单元，用于从网站的每个网页中提取节点信息；

确定单元，用于将所述节点信息确定为第一节点信息或第二节点信息，其中，所述第一节点信息为包含网页正文文本的节点的信息，所述第二节点信息为不包含网页正文文本的节点信息；

第二提取单元，用于提取所述第一节点信息中的网页正文文本；

第三提取单元，用于根据所述第一节点信息对目标网页重新提取符合预设条件的节点信息，其中，所述目标网页为提取出所述第二节点信息的网页；

正文单元，用于将重新提取到的节点信息所包含的文本作为所述目标网页的网页正文文本；

以及，所述第一提取单元包括：第三获取模块，用于获取每个所述网页中所有节点信息所包含的文本；信息模块，用于将包含的文本长度最长的节点信息作为从所述网页中提取的节点信息，得到多个节点信息；

以及，所述确定单元包括：第二确定模块，用于将所述多个节点信息中具有相同ID信息的，数量最多的节点信息作为所述第一节点信息；第三确定模块，用于将所述多个节点信息中除所述第一节点信息以外的节点信息作为所述第二节点信息。

6.根据权利要求5所述的装置，其特征在于，所述第三提取单元包括：

第一获取模块，用于获取所述目标网页中所有节点信息的属性；

查找模块，用于从所述所有节点信息的属性中查找与所述第一节点信息的属性相同的节点信息。

7.根据权利要求5所述的装置，其特征在于，所述确定单元包括：

第二获取模块，用于获取从所述网站的每个网页中提取的节点信息的属性；

第一确定模块，用于根据所述节点信息的属性确定所述节点信息为第一节点信息或者第二节点信息，其中，所述节点信息的属性包括ID信息。