[发明专利]一种网页正文提取方法、装置、计算机装置及计算机可读存储介质

权利要求书

1.一种网页正文提取方法，其特征在于，所述网页正文提取方法包括：

构建DOM树，根据所述DOM树中的h标签的文本与title标签的文本的相似度，确定网页标题位置；

对所述DOM树进行过滤，获取行块列表；

通过所述行块列表中行块与所述网页标题位置，确定网页正文区域；

根据所述网页正文区域，确定网页正文的开始位置和结束位置，并提取所述开始位置与所述结束位置之间的文本为网页正文；所述对所述DOM树进行过滤，获取行块列表的步骤，包括：

通过预设的过滤规则对所述DOM树进行过滤，获取无标签网页文本列表；

通过预设阈值划分所述无标签网页文本列表，获取行块列表。

2.如权利要求1所述的网页正文提取方法，其特征在于，所述通过所述行块列表中行块与所述网页标题位置，确定网页正文区域的步骤，包括：

通过所述行块列表中行块与所述网页标题位置，确定各行块权值，并组成行块权值列表；

确定所述行块列表中行块权值最大的位置为网页正文区域。

3.如权利要求1所述的网页正文提取方法，其特征在于，所述h标签包括h1标签、h2标签，所述构建DOM树，根据所述DOM树中的h标签的文本与title标签的文本的相似度，确定网页标题位置，具体包括：

当Sim_h1,title≥40％时，则确定h1标签的文本为网页标题；

当Sim_h1,title＜40％时：

a、当h1标签列表中文本长度≥8时，确定所述h1标签列表中的第一个h1标签中的文本为网页标题；

b、当h1标签列表中文本长度＜8时，且当Sim_h2,title40％时，确定所述h2标签列表中的第一个标签为标题。

4.如权利要求1所述的网页正文提取方法，其特征在于，所述通过预设的过滤规则对与所述DOM树进行过滤，获取无标签网页文本列表，包括：

删除DOM树中与网页域名不同的所有a标签，获得第一过滤网页文本；

提取所述第一过滤网页文本中的body标签，并删除body标签中的格式标签，获得第二过滤网页文本；

删除所述第二过滤文本中两个p标签之间没有文本的标签、没有文本的p标签以及p标签之后的换行，获得第三过滤网页文本；

将所述第三过滤文本中的网页段落结构标签替换成固定字符，获得第四过滤文本；

删除所述第四过滤文本中的脚本、特殊字符、标签，获取无标签网页文本，并将所述无标签网页文本进行换行符分割，获得无标签网页文本列表。

5.如权利要求4所述的网页正文提取方法，其特征在于，所述删除所述第二过滤文本中两个p标签之间没有文本的标签、没有文本的p标签以及p标签之后的换行，获得第三过滤网页文本，具体包括：

提取DOM树中所有p标签，组成p标签列表；

遍历所述p标签列表，删除两个p标签之间没有文本的标签、没有文本的p标签以及p标签之后的换行，获得第三过滤网页文本。

6.如权利要求2所述的网页正文提取方法，其特征在于，所述通过所述行块列表中行块与所述网页标题位置，确定各行块权值，并组成行块权值列表，具体包括：

a、计算行块在所述无标签网页文本中的位置占比，即D，公式为：

其中，titleIndex为所述无标签网页文本中标题的位置，endIndex为所述无标签网页文本中结束位置，P为行块当前距离所述无标签网页文本中的标题的距离；

b、通过预设的行块权值公式，计算出各行块权值，即Y，所述预设的行块权值公式为：

其中，D为行块在所述无标签网页文本中的位置占比，L为该行块中字符个数总数。

7.如权利要求4所述的网页正文提取方法，其特征在于，所述网页正文提取方法，还包括：

判断提取到的所述第四过滤文本中是否存在结构相似的文本块；

当判断结果为否时，保留提取到的所述网页正文。