[发明专利]网页信息抽取方法

摘要

本发明涉及一种网页信息抽取方法，该方法包括对网页Web的页面数据建立DOM树，从DOM树中递归选取包含所有待抽取信息的节点子树，选取节点子树中所有待抽取信息的属性节点的路径、值节点的路径和最小的子树，将最小的子树的根节点作为超文本标记语言HTML标签相对特征坐标系的原点；将从DOM树中训练得到待抽取信息的属性和值在HTML标签相对特征坐标系中的路径，生成属性坐标和值坐标，根据相对特征坐标系的原点、属性坐标和值坐标定位待抽取信息；将属性坐标和值坐标作为待抽取信息的抽取规则，所有待抽取信息的抽取规则组成Web的抽取规则集合并生成包装器；通过包装器的抽取规则的属性坐标和值坐标，定位待抽取信息的属性和值，并抽取Web信息。

主权项

一种网页信息抽取方法，其特征在于，所述方法包括：对网页Web的页面数据建立文档对象模型DOM树，从所述DOM树中递归选取包含所有待抽取信息的节点子树，选取所述节点子树中所述所有待抽取信息的属性节点的路径、值节点的路径和最小的子树，将所述最小的子树的根节点作为超文本标记语言HTML标签相对特征坐标系的原点；将从DOM树中训练得到待抽取信息的属性和值在HTML标签相对特征坐标系中的路径，生成属性坐标和值坐标，根据所述相对特征坐标系的原点、所述属性坐标和值坐标定位所述待抽取信息，其中所述所有待抽取信息包括所述待抽取信息；将所述属性坐标和所述值坐标作为所述待抽取信息的抽取规则，其中，不同的待抽取信息训练出的抽取规则不同，所述所有待抽取信息的抽取规则组成所述Web的抽取规则集合并生成包装器；通过所述包装器的抽取规则的属性坐标和值坐标，定位所述待抽取信息的属性和值，并抽取Web信息；所述抽取Web信息具体包括：对所述Web建立HTML标签相对特征坐标系；对所述Web中的所述待抽取信息建立属性坐标和值坐标；利用训练集中的网页修正所述待抽取信息的属性坐标和值坐标，使得所述待抽取信息的属性坐标和值坐标能够定位到固定阈值比例的待抽取信息，并将所述待抽取信息的属性坐标和值坐标作为所述待抽取信息的抽取规则；对于同类的Web页面数据，将所有待抽取信息的属性坐标和值坐标对组合，并构成同类的Web页面数据的包装器；通过所述坐标原点的文本特征和正则表达式，查找出所述坐标原点的标签，当所述包装器中的抽取规则定位到的属性坐标与所述待抽取信息的属性一致时，则所述包装器中的抽取规则定位到的值坐标为所述待抽取信息；所述方法还包括：构建所述HTML标签相对特征坐标系：将所述所有待抽取信息中的第一个待抽取信息的属性或值所在HTML标签的相关节点作为训练坐标原点；在以所述训练坐标原点为根节点的子树中查找所述待抽取信息的属性和值；当所述训练坐标原点不能定位所述所有待抽取信息的属性和值时，更新所述训练坐标原点，将所述训练坐标原点的父节点作为更新后的训练坐标原点；当所述训练坐标原点能定位所述所有待抽取信息的属性和值时，将所述所有待抽取信息中的每个待抽取信息的属性和值所在标签到当前训练坐标原点的路径作为所述每个待抽取信息的属性坐标和值坐标，所述每个待抽取信息的属性坐标和值坐标组成的坐标系构建所述HTML标签相对特征坐标系。