[发明专利]提取网页正文的方法和装置

权利要求书

1.一种提取网页正文的方法，其特征在于，包括：

根据待提取网页构建访问模型，所述访问模型包括：特征部分和主体部分；

计算所述主体部分的各单位区域与所述特征部分的相似值；其中，计算所述特征部分的第二指标值以及所述主体部分的各单位区域的第二指标值；利用所述特征部分的第二指标值以及所述各单位区域的第二指标值，计算所述特征部分与所述各单位区域的相似值；其中，所述特征部分包括待提取网页的特征信息，所述第二指标值是根据所述特征信息生成的；

根据所述相似值和各单位区域的第一指标值，从所述访问模型中筛选单位正文区域；其中，

根据所述各单位区域的第一指标值，从所述访问模型中选出疑似文本区域，利用所述相似值从所述疑似文本区域中筛选所述单位正文区域；

根据所述单位正文区域确定所述待提取网页的正文的开头和结尾，以得到所述待提取网页的完整正文；其中，

所述根据所述单位正文区域确定所述待提取网页的正文的开头和结尾包括：以所述单位正文区域为中心进行向上和向下单位区域的迭代遍历，判断每一个单位区域是否符合预设正文条件，若不符合预设正文条件，则停止迭代，从而确定所述待提取网页的正文的开头和结尾；

所述判断每一个单位区域是否符合预设正文条件包括：判断每一个单位区域的相似值是否大于预设相似性阈值，若大于，则确定所述单位区域符合预设正文条件；和/或，判断每一个单位区域的链接比是否小于预设链接比阈值，若小于，则确定所述单位区域符合预设正文条件；和/或，判断每一个单位区域的符号比是否大于预设符号比阈值，若大于，则确定所述单位区域符合预设正文条件。

2.根据权利要求1所述的方法，其特征在于，在根据待提取网页构建访问模型之前，所述方法还包括：将所述待提取网页的源码进行标准化处理。

3.根据权利要求1所述的方法，其特征在于，利用所述相似值从所述疑似文本区域中筛选所述单位正文区域包括：

比较所述疑似文本区域中各单位区域的相似值的大小，选取相似值最大的单位区域作为单位正文区域。

4.根据权利要求1所述的方法，其特征在于，在根据所述单位正文区域确定所述待提取网页的正文的开头和结尾之后，所述方法还包括：获取所述待提取网页的正文附加信息，其中，所述正文附加信息包括如下至少一种：正文标题、作者、日期和来源。

5.根据权利要求1所述的方法，其特征在于，所述访问模型为文本对象模型。

6.根据权利要求1所述的方法，其特征在于，所述各单位区域以行为单位。

7.根据权利要求1所述的方法，其特征在于，所述第一指标值用于表示各单位区域的属性信息，包括：各单位区域的单位密度。

8.根据权利要求1所述的方法，其特征在于，所述第二指标值用于表示网页中某区域的属性信息，包括：特征向量值。