[发明专利]一种网页内容抽取的方法及装置

说明书

技术领域

本发明涉及信息技术领域，尤其涉及一种网页内容抽取的方法及装置。

背景技术

通过SAX解析器将网页源码中表示文本区域的<P>标签、<Hn>标签、<a>标签、<DIV>标签等标签中的内容解析为多个文本块，并计算各个文本块中的预设指标，判断此文本块的内容是否可以作为正文，其中，预设指标可以包括单词数、超链接密度等指标。例如，当前文本块的链接密度小于等于0.333333，并且前一文本块的链接密度小于等于0.555556，并且当前文本块的单词数小于等于16，并且下一文本块的单词数小于等于14，并且前一文本块的单词数大于4时，当前文本块能作为正文；前面条件不变，最后一个条件为：前一文本块的单词数小于等于4时，当前文本块不能作为正文。

然而，当采用现有技术进行网页内容抽取时，网页标题抽取不准确，网页各个元素抽取不全面等问题，导致网页正文抽取不准确。

发明内容

本发明的实施例提供一种网页内容抽取的方法及装置，可以在进行网页内容抽取时，准确抽取网页标题以及网页中各个元素。

第一方面，本发明提供一种网页内容抽取的方法，包括：

将HTML源码转换为对应的文档树结构，并根据所述文档树结构的TITLE标签，确定网页标题；

根据所述网页标题，确定网页中的网页元素，所述网页元素至少包括网站LOGO、页面导航、新闻发布时间、新闻来源；

根据所述网页标题，以及所述文档树结构的文本块的密度和文字数，确定各个文本块的属性，所述文本块的属性包括所述文本块的网页内容为正文，或者所述文本块的网页内容非正文；

抽取所述网页标题、所述网页元素以及所述网页内容为正文的正文文本块，获取网页全文。

第二方面，本发明提供一种网页内容抽取的装置，包括：

转换单元，用于将HTML源码转换为对应的文档树结构；

网页标题确定单元，用于将HTML源码转换为对应的文档树结构，并根据所述文档树结构的TITLE标签，确定网页标题；

网页元素确定单元，用于根据所述网页标题，确定网页中的网页元素，所述网页元素至少包括网站LOGO、页面导航、新闻发布时间、新闻来源；

文本块属性确定单元，用于根据所述网页标题，以及所述文档树结构的文本块的密度和文字数，确定各个文本块的属性，所述文本块的属性包括所述文本块的网页内容为正文，或者所述文本块的网页内容非正文；

网页全文获取单元，用于抽取所述网页标题、所述网页元素以及所述网页内容为正文的正文文本块，获取网页全文。

本发明实施例提供一种网页内容抽取的方法及装置，通过将HTML源码转换为对应的文档树结构，并根据所述文档树结构的TITLE标签，确定网页标题；根据所述网页标题，确定网页中的网页元素，所述网页元素至少包括网站LOGO、页面导航、新闻发布时间、新闻来源；根据所述网页标题，以及所述文档树结构的文本块的密度和文字数，确定各个文本块的属性，所述文本块的属性包括所述文本块的网页内容为正文，或者所述文本块的网页内容非正文；抽取所述网页标题、所述网页元素以及所述网页内容为正文的正文文本块，获取网页全文。

与现有技术中进行网页内容抽取时，网页标题抽取不准确，网页各个元素抽取不全面等问题，导致网页正文抽取不准确相比，本发明实施例通过TITLE标签，确定网页标题，再根据网页标题确定网页其他元素，例如网站LOGO、页面导航、新闻发布时间、新闻来源等，使得在进行网页内容抽取时，准确抽取网页标题以及网页中各个元素。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种网页内容抽取的方法的流程图；

图2为本发明实施例1提供的另一种网页内容抽取的方法的流程图；

图3为本发明实施例1提供的一种确定当前文本块的网页内容为正文或者非正文的方法的流程图；

图4为本发明实施例2提供的一种网页内容抽取的装置的框图；

图5为本发明实施例2提供的另一种网页内容抽取的装置的框图；

图6为本发明实施例2提供的第一确定模块的框图；

图7为本发明实施例2提供的第三确定模块的框图。