[发明专利]信息抽取方法和装置

权利要求书

1.一种信息抽取方法，其特征在于，包括：

对超文本标记语言（HTML）文档进行预处理，得到规范的可扩展超文本置标语言（XHTML）文档；

对所述XHTML文档进行解析，获取样本实例；

通过归纳学习所述样本实例，得出公共XML路径语言（XPATH）；

生成扩展样式表转换语言（XSLT）抽取规则；

根据所述XSLT抽取规则和所述XPATH，通过输出文件函数进行信息抽取。

2.根据权利要求1所述的信息抽取方法，其特征在于，所述对HTML文档进行预处理，得到规范的XHTML文档包括：

将所述HTML文档解析成一颗HTML文档对象模块（HTMLDOM）树，并获取该树的根元素；

为所述HTML文档添加XML文档声明和XSLT规则转换文件；

从所述树的树根开始递归遍历所述HTMLDOM树，形成所述规范的XHTML文件。

3.根据权利要求2所述的信息抽取方法，其特征在于，从所述树的树根开始递归遍历所述HTMLDOM树，形成所述规范的XHTML文件包括：

从树根开始递归遍历所述HTMLDOM树，判断节点类型；

对节点类型为文本节点的节点，用实体引用代替文本节点的特殊字符，并打印所述文本节点；

对节点类型为有用元素的元素节点，在取出所述元素节点之前先打印“<”，获得该元素节点的名称，同时将该元素节点的名称小写化；

对节点类型为无用元素的元素节点，直接过滤该元素节点。

4.根据权利要求3所述的信息抽取方法，其特征在于，所述从所述树的树根开始递归遍历所述HTMLDOM树，形成所述规范的XHTML文件还包括:

对于有子节点的节点类型为有用元素的元素节点，以同样方式递归打印出所有孩子节点，直到遍历结束，关闭所述元素节点。

5.根据权利要求1所述的信息抽取方法，其特征在于，所述对所述XHTML文档进行解析，获取样本实例的步骤包括：

将页面清洗得到的XHTML文档解析成XMLDOM树，获得该树的根节点（ROOT）；

深度优先遍历所述XMLDOM树；

获得根节点的名称；

在所述根节点有孩子节点时递归处理该节点的孩子节点，在所述根节点没有孩子节点时直接加到当前节点下；

把所有子节点加载到JTREE的根节点中生成整棵树。

6.根据权利要求1所述的信息抽取方法，其特征在于，所述通过归纳学习所述样本实例，得出公共XPATH包括：

对于两个样本实例的XPATH表达式，从根节点开始比较；

如果节点名称和位置序号都一致，则计入公共XPATH表达式；

若某个XPATH的节点名称相同，而位置序号不同，则获得该节点及其所有的兄弟节点，将该节点的孩子序号置为0，并写入公共XPATH表达式中；

依次比较直到XPATH表达式结束。

7.根据权利要求1所述的信息抽取方法，其特征在于，所述生成XSLT抽取规则包括：

定义三个变量，使用该三个变量保存起始孩子节点序号、孩子节点数以及步长值；

设置公共路径里的参数，初始值为起始孩子节点序号；

模板运行一次后将起始孩子节点序号按步长值增加，得到的结果作为参数递归调用模板，完成多条记录数的自动抽取。

8.根据权利要求1所述的信息抽取方法，其特征在于，所述根据所述XSLT抽取规则和所述XPATH，通过输出文件函数进行信息抽取的步骤之后，还包括：

将抽取结果存入XML文件中，用于观察数据抽取的正确性和二次处理。

9.一种信息抽取装置，其特征在于，包括：

页面预处理模块，用于对HTML文档进行预处理，得到规范的XHTML文档；

网页树构建模块，用于对所述XHTML文档进行解析，获取样本实例；

XPATH构建模块，用于通过归纳学习所述样本实例，得出公共XPATH；

抽取规则形成模块，用于生成XSLT抽取规则；

信息抽取模块，用于根据所述XSLT抽取规则和所述XPATH，通过输出文件函数进行信息抽取。