[发明专利]一种提取网页正文的方法

权利要求书

1.一种提取网页正文的方法，其特征在于，包括以下步骤：

步骤S101：网页源代码获取，获取html的页面源代码；

步骤S102：解析并遍历标签，通过html解析器解析页面源代码获得标签并遍历每个标签；其中，网页的正文由一个或多个p、div、span以及a标签组成，p标签包含正文的内容，将这些p标签的内容长度相加；

步骤S103：标签内容长度判断，对每个标签的内容长度进行判断，遍历标签内容长度后，确定标签内容长度最长的标签；

步骤S104：提取标签内容，取出标签最长的标签内容，取出的内容就是需要提取的正文内容。

2.按照权利要求1所述的一种提取网页正文的方法，其特征在于：所述步骤S102中用来解析html页面源代码的html解析器采用jsoup工具。

3.按照权利要求1所述的一种提取网页正文的方法，其特征在于：所述步骤S102中遍历每个标签采用递归遍历每个标签。

4.按照权利要求1所述的一种提取网页正文的方法，其特征在于，所述步骤S103还包括以下步骤：

步骤S1031：判断标签内容长度，判断标签的内容长度是否最长，如果最长则进入步骤S1032，如果不是则进入步骤S1033；

步骤S1032：存储本标签，存储标签内容长度最长的标签、标签长度L、标志为本标签；

步骤S1033：判断本标签是否有子元素，如果有则进入步骤S1034，如果没有则进入步骤S1039；

步骤S1034：标签子元素，对每个子元素进行标签形成不同的子标签；

步骤S1035：相同子标签内容长度相加，将相同子标签的内容长度相加；

步骤S1036：判断子标签内容相加长度是否最长，将子标签内容长度相加与当前最长标签长度L相比较，判断是否比最长标签长度L长，如果是则进入步骤S1037，如果否则进入步骤S1038；

步骤S1037：存储子标签，存储内容长度较大的子标签的标签、子标签的父标签以及标志为子标签；

步骤S1038：判断子标签是否全部遍历相加，如果是则进入步骤S1039，如果否则返回步骤S1035；

步骤S1039：判断本标签是否全部遍历，如果是则进入步骤S104，如果否则返回步骤S1031。

5.按照权利要求4所述的一种提取网页正文的方法，其特征在于：所述步骤S104中如果存储的结果子标签标志为子标签的，提取这个标签的子标签的所有内容；如果子标签标志没有子标签的，则提取本标签的内容。