[发明专利]从非结构化文档中抽取对象的方法和装置

说明书

技术领域

本发明总体地涉及信息处理和信息抽取领域，更具体地涉及从文档中抽取信息。

背景技术

目前，存在大量的电子文档，例如，互联网上的各种描述产品的文章等。对各种文档进行信息处理、分析、统计等，正成为业界研究和开发的热点。

文档可以大致分为结构化文档、半结构化文档和非结构化的文档。

结构化文档一般是按照某种预定义的文档对象模型构造的文档，其已经给文档定义了框架，使得各部分的作用一目了然，例如通过一些数据库定义语言或面向对象的编程语言等构建的文档可以称为结构化文档。网页等诸如HTML或XML格式的文档常被人称为半结构化文档或半结构化数据，从其中的一些标记语言即可以知道所描述对象的属性和值。例如，下面为一示例性的XML格式文档：

<？xml version＝″1.0″encoding＝″GB2312″？>

<myfile>

<title>XML轻松学习手册</title>

<chapter>XML快速入门

<para>什么是XML</para>

<para>使用XML的好处</para>

</chapter>

<chapter>XML的概念

<para>扩展性</para>

<para>标识</para>

</chapter>

</myfile>

从该XML格式文档中，可以清晰地看出标识分三级关联，因此非常便于计算机处理和分析：

<myfile>

<chapter>

<para>

</para>

</chapter>

</myfile>

结构化文档或半结构化文档本身有一些标记，可以被利用来帮助进行信息分析和提取。

除结构化文档、半结构化文档外的大量文档被称为非结构化文档。非结构化文档类似于自然语言形式，例如我们常见的后缀为txt的纯文本文档即为一种典型的非结构化文档。此外，word格式和pdf格式的文档中也不存在便于理解文章所描述的主体和具体属性的信息，因此也可视为非结构化文档。

图1示出了一篇纯文本(非结构化数据)与其对应对象(结构化数据)的例子。显然，结构化数据可以方便地进一步被计算机处理和利用。

已经提出了很多从结构化文档或半结构化文档识别或提取对象的方法。例如，题为“Method and system for identifying object information”的美国专利US 7383254B2提出了一种从网页中识别对象的方法，包括：在网页识别对象区域；使用预先定义的属性分类对象区域；标出当前对象类型的属性；计算置信度并生成对象。文献Learning Object Model from Product Web Pages，Shiren Ye，Tat-seng Chua，Proc.workshop Semantic Web of SIGIR，2004和文献A fully automated object extraction system for the Web，David Buttler，Ling Liu，Calton Pu，Georgia Institute of Technology，2001提出了如下对象抽取方法：从多个网页产品检索结果页面中抽取多个对象；对象模型是预先定义的且固定的；对象抽取首先利用网页结构标识出对象区域，然后填充对象模型。

非结构化的文本广泛存在，且富含信息，却不易被计算机理解。例如互联网上广泛存在着描述产品的非结构化文章，可以是产品功能参数说明，广告，新闻发布，或用户评论。尽管已经有很多产品信息被结构化，比如销售网站或测评网站上的产品信息，但是这些都是通过手工收集和录入的，因此相当地耗费人力和时间。

因此，存在对于自动从非结构化文档诸如纯文本单文档中抽取对象的方法的需要。

发明内容

为此，提出了本发明。