[发明专利]从网页中抽取数据的方法和装置

权利要求书

1.一种从网页中抽取数据的方法，其特征在于，该方法包括：

步骤A，定义网页中节点的划分规则，根据节点划分规则和对训练样本网页的解析，获取用于抽取网页中数据的约束规则集合；

步骤B，利用所述约束规则集合从待抽取的网页中抽取数据。

2.根据权利要求1所述的方法，其特征在于，所述步骤A中的获取包括：

步骤A1，根据节点划分规则，生成每一训练样本网页对应的第一约束条件集合和第二约束条件集合；

步骤A2，依据第一约束条件集合和第二约束条件集合分别生成对应的约束规则集合。

3.根据权利要求2所述的方法，其特征在于，所述步骤A1包括：

步骤A11，针对每一训练样本网页，将该训练样本网页解析成DOM树，并将该DOM树转换成节点集合U；

步骤A12，按照定义的不同节点划分规则，将节点集合U划分成不同的划分集合；

步骤A13，根据所述划分集合，确定指定抽取维度集合对应的节点存放集合U1中每个节点的约束集合，将节点存放集合UI中所有节点的所有约束集合作为该训练样本网页对应的第一约束条件集合；

步骤A14，针对节点存放集合UI中任意两个节点，计算该两个节点对应的两个维度在至少一个属性上的二元关系，将计算结果记录在该训练样本网页对应的第二约束条件集合。

4.根据权利要求3所述的方法，其特征在于，所述步骤A12包括：

步骤A121，遍历定义的节点划分规则，将遍历到的节点划分规则作为当前划分规则；

步骤A122，遍历节点集合U，将遍历到的节点作为当前节点；

步骤A123，判断该当前节点是否满足当前划分规则，如果是，则将当前节点添加到该当前划分规则对应的划分集合中，执行步骤A124，如果否，执行步骤A124；

步骤A124，判断所述节点集合U中是否还存在未被遍历的节点，如果是，将该未被遍历的其中一个节点作为当前节点，返回执行步骤A123；如果否，执行步骤A125；

步骤A125，判断定义的节点划分规则中是否还存在未被遍历的节点划分规则，如果是，将未被遍历的其中一个节点划分规则作为当前划分规则，返回执行步骤A122，否则，结束当前流程。

5.根据权利要求3所述的方法，其特征在于，所述步骤A13包括：

步骤A131，遍历节点存放集合UI，将遍历到的节点作为当前节点；

步骤A132，判断步骤A12得到的划分集合中是否存在包含该当前节点的划分集合，如果是，将当前节点上对应该存在的划分集合的节点属性值和该当前节点存放在当前节点的约束集合中，之后执行步骤A133；如果否，执行步骤A133；

步骤A133，判断节点存放集合U1中是否还存在未被遍历的节点，如果是，将未被遍历的其中一个节点作为当前节点，返回步骤A132，否则，结束当前流程。

6.根据权利要求2所述的方法，其特征在于，所述步骤A2中的约束规则集合包括：基于粗糙集的等价约束条件集合和维度在节点属性值上的约束条件集合。

7.根据权利要求6所述的方法，其特征在于，所述基于粗糙集的等价约束条件集合依据第一约束条件集合生成，具体包括：

步骤A21，遍历第一约束条件集合中各个节点的约束集合，将遍历到的节点约束集合作为当前约束集合；

步骤A22，判断当前约束集合对应的节点划分规则是离散型还是连续型，并根据确定结果计算当前约束集合中各个节点分布的概率；

步骤A23，从当前约束集合中去除具有概率不同于指定目标节点的概率的节点；

步骤A24，判断第一约束条件集合中的节点约束集合是否已被全部遍历，如果是，执行步骤A25，否则，将未被遍历的其中一个节点约束集合确定为当前约束集合，返回执行步骤A22；

步骤A25，将通过步骤A23得到的所有集合确定为基于粗糙集的等价约束条件集合。

8.根据权利要求6所述的方法，其特征在于，所述维度在节点属性值上的约束条件集合依据第二约束条件集合生成，具体包括：

合并不同训练样本网页对应的第二约束条件集合；

确定合并后得到的集合为维度在节点属性值上的约束条件集合。