[发明专利]网页信息抽取方法和装置

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种网页信息抽取方法和装置。

背景技术

网页信息抽取(Web Information Extraction，简称为webIE)，即将网页作为信息源，然后从信息源中抽取出目标信息。网页上的数据大部分都是用一种半结构化的超文本标记语言（Hypertext Markup Language，简称HTML）来描述的，但由于缺乏对数据本身的描述，使得应用程序无法直接解析并利用网页上海量的信息，造成了资源极大的浪费。网页信息抽取的目的是将半结构化的HTML页面中隐含的目标信息抽取出来，并以更为结构化、语义更为清晰的形式表示，为用户在网页中查询数据、应用程序直接利用网页中的数据提供便利。

面对海量的千变万化的数据，目前的网页信息抽取方法主要为基于网页源码的人工配置模板方法，该方法通过对不同布局的网页手动配置不同的模板，并采用对应的模板和待抽取网页进行匹配，从而抽取信息。

但现有技术存在如下缺陷：即使对于同一领域的站点，由于其网页数目较多，且布局风格具有多样性和多变性，因此需人工配置大量的模板且配置的模板需要经常变动才能保证信息抽取的准确性，费时费力。

发明内容

本发明提供一种网页信息抽取方法和装置，用以解决现有技术中存在的对于同一领域的站点，采用人工配置模板方法抽取网页信息时费时费力的问题。

一方面，本发明提供了一种网页信息抽取方法，包括：

根据多个已标注属性的样本网页构建对应的多个第一文档对象类型DOM树，并根据所述多个第一DOM树构建决策树；

根据多个未标注属性的样本网页构建对应的多个第二DOM树，并根据所述多个第二DOM树优化所述决策树；

根据优化后的决策树，抽取待抽取网页的结构化信息；

其中，所述多个已标注属性的样本网页、所述多个未标注属性的样本网页和所述待抽取网页属于同一领域的网页。

另一方面，本发明提供了一种网页信息抽取装置，包括：

构建模块，用于根据多个已标注属性的样本网页构建对应的多个第一文档对象类型DOM树，并根据所述多个第一DOM树构建决策树；

优化模块，用于根据多个未标注属性的样本网页构建对应的多个第二DOM树，并根据所述多个第二DOM树优化所述决策树；

抽取模块，用于根据优化后的决策树，抽取待抽取网页的结构化信息；

其中，所述多个已标注属性的样本网页、所述多个未标注属性的样本网页和所述待抽取网页属于同一领域的网页。

本发明提供的网页信息抽取方法，根据多个已标注属性的样本网页构建决策树，根据多个未标注属性的样本网页优化该决策树，由于决策树的构建和优化不单单依赖于网页的布局风格，因此优化后的决策树可以适用于同一领域各种布局风格的网页的信息抽取，省时省力。

附图说明

图1为本发明提供的网页信息抽取方法一个实施例的流程示意图；

图2为本发明提供的网页信息抽取方法又一个实施例的流程示意图；

图3为DOM树节点层次聚类过程的示意图；

图4为决策树的结构示意图；

图5为本发明提供的网页信息抽取装置一个实施例的结构示意图。

具体实施方式

下面通过具体的实施例及附图，对本发明的技术方案做进一步的详细描述。

图1为本发明提供的网页信息抽取方法一个实施例的流程示意图。如图1所示，该方法具体可以包括：

S101，根据多个已标注节点属性的样本网页构建对应的多个第一文档对象类型DOM树，并根据多个第一DOM树构建决策树。

具体的，互联网是一个巨大的知识库，网页里面蕴含了大量有价值的信息。互联网包含多个领域，比如：新闻、购物、社交、论坛、博客等。随着互联网技术的飞速发展，网页中的功能越来越强，各领域网站呈现出信息类别多，信息量大的特点。不同领域对应着各自的属性，例如：新闻网页包含标题、主体、用户评论、相关新闻等属性；购物网页则包含商品名称、价格、参数、用户评论、相关商品等属性。

已标注属性的样本网页，即对少量样本网页进行人工标注属性，例如，对于新闻网页，人工标注出标题、主体、用户评论、相关新闻等属性。根据该已标注属性的样本网页构建第一DOM树，第一DOM树中每个节点的属性根据该已标注属性的样本网页标注的属性可以确定。