[发明专利]基于启发式规则的网页内容的抽取方法与系统

权利要求书

1.一种基于启发式规则的网页内容的抽取方法，其特征在于，包括：

接收待提取网页内容的目标网址，根据所述目标网址获取所述目标网址对应的目标网页源码；

基于预设的启发式规则对所述目标网页源码进行抽取，得到网页正文源码；

遍历所述网页正文源码，以得到目标标签以及所述目标标签对应的标签内容；

根据所述目标标签对应的标签属性，将所述目标标签内容存储到数据表格中，并发送给前端进行视图展示。

2.根据权利要求1所述的抽取方法，其特征在于，所述遍历所述网页正文源码，以得到目标标签以及所述目标标签对应的标签内容包括：

遍历所述网页正文源码，得到多个标签；

通过层次聚类将所述多个标签进行排序，得到多个等级的标签；

将所述多个等级的标签中的同等级标签作为目标标签，并将所述目标标签对应的标签内容进行合并，得到所述目标标签对应的标签内容。

3.根据权利要求1所述的抽取方法，其特征在于，所述基于预设的启发式规则对所述目标网页源码进行抽取，得到网页正文源码包括：

根据所述目标网页源码的文本块的文字密度、链接密度和文字数，确定当前文本块的网页内容为正文或者非正文；

抽取所述正文对应的源码作为网页正文源码。

4.根据权利要求3所述的抽取方法，其特征在于，所述根据所述目标网页源码的文本块的文字密度、链接密度和文字数，确定当前文本块的网页内容为正文或者非正文包括：

判断当前文本块的文字密度是否大于等于文字密度下限值；

当所述当前文本块的文字密度大于等于文字密度下限值时，判断所述当前文本块的链接密度是否小于第一链接密度上限值；

当所述当前文本块的链接密度小于所述第一链接密度上限值时，判断前一个文本块的链接密度是否小于第二链接密度上限值；

当所述前一个文本块的链接密度小于所述第二链接密度上限值时，判断所述当前文本块的文字数是否小于第一文字数下限值；

当所述当前文本块的文字数小于所述第一文字数下限值时，判断后一个文本块的文字数是否小于第二文字数下限值；

当所述后一个文本块的文字数小于所述第二文字数下限值时，判断所述前一个文本块的文字数是否小于第三文字数下限值；

当所述前一个文本块的文字数小于所述第三文字数下限值时，确定所述当前文本块的网页内容为非正文；

当所述前一个文本块的文字数大于等于所述第三文字数下限值时，确定所述当前文本块的网页内容为正文。

5.根据权利要求4所述的抽取方法，其特征在于，当所述当前文本块的文字密度小于文字密度下限值时，确定所述当前文本块的网页内容为非正文。

6.根据权利要求4所述的抽取方法，其特征在于，所述根据所述目标网页源码的文本块的文字密度、链接密度和文字数，确定当前文本块的网页内容为正文或者非正文还包括：

当所述当前文本块的链接密度大于等于所述第一链接密度上限值时，并且当所述前一个文本块的网页内容为正文时，判断所述当前文本块中链接的文字数的平均值是否小于文字数上限值；

当所述当前文本块中链接的文字数的平均值小于文字数上限值时，确定所述当前文本块的网页内容为正文；

当所述当前文本块中链接的文字数的平均值大于等于文字数上限值时，确定所述当前文本块的网页内容为非正文。