[发明专利]网页正文的提取方法和装置

摘要

本申请实施例公开了的一种网页正文提取方法和装置，所述方法包括：读取网页数据，确定网页数据中包含的干扰数据，以及，用空字符替换所述干扰数据；记录网页每一行的行号以及对应行内的文字个数；利用所述每一行的行号以及对应行内的文字个数确定网页正文；提取所述网页正文。与现有技术相比，本发明具有不依赖浏览器环境、不依赖页面结构以及扩展性较好的优点。

主权项

1.一种网页正文的提取方法，其特征在于，所述方法包括：读取网页数据，确定网页数据中包含的干扰数据，以及，用空字符替换所述干扰数据；记录网页每一行的行号以及对应行内的文字个数；利用所述每一行的行号以及对应行内的文字个数确定网页正文；提取所述网页正文；其中，利用所述每一行的行号以及对应行内的文字个数确定网页正文的步骤包括：确定网页行号范围X，其中，X＝1～j，j是正整数；将网页中的空行的文字个数设置为负数；根据设置后的每行文字个数，计算以第n行为最后一行的一段连续行的文字个数总和最大值F(n)，其中，n＝1～X；根据F(n)与第n行的文字个数a[n]，得到网页正文所处的行区间，包括：确定最大行号j；计算初始行文字个数总和，F(1)＝a[1]；设置当前行号n＝i，其中，i＝2～j；计算以第n行为最后一行的一段连续行的文字个数总和最大值F(n)＝F(n‑1)+a[n]；如果F(n‑1)≤0，则F(n)＝a[n]，使n＝n+1；如果F(n‑1)＞0，则F(n)＝F(n‑1)+a[n]，使n＝n+1；若n≠j，则转计算F(n)的步骤继续计算；若n＝j时，则结束F(n)的计算；查找F(1)～F(j)中的最大值，将最大值所在行确定为网页正文所处行区间的终止行；根据所述最大值和每行文字个数a[n]确定网页正文所处行区间的起始行；选择行区间的文字作为网页正文；或者，利用所述每一行的行号以及对应行内的文字个数确定网页正文的步骤包括：确定网页行号范围X，其中，X＝1～j,j是正整数；计算前n行的文字个数总和F(n),其中，n＝1～X；根据F(n)得到多个连续的正文区间，其中，n＝1～X，所述根据F(n)得到多个连续的正文区间的步骤包括：确定最大行号j；确定初始行号i，其中，i＝1～j；设置当前行号n＝i；当F(n)＝F(n+1)时，确定正文区间为F(i)到F(n)，结束F(n)的计算，或者转确定初始行号i的步骤继续判断；如果F(n)≠F(n+1)，使n＝n+1；如果n≠j，则转比较F(n)和F(n+1)的步骤继续判断；如果n＝j，则结束F(n)的计算；从连续的正文区间中选择一个或多个正文区间的文字作为网页正文；或者，利用所述每一行的行号以及对应行内的文字个数确定网页正文的步骤包括：确定网页行号范围X，其中，X＝1～j,j是正整数；逐次计算第n行与第n+h行之间的文字个数之和F(n)，其中，n＝1～X‑h，h为大于1小于j的自然数；将F(1)～F(n)中最大值对应的行数与该行之后h行的文字作为网页正文。