[发明专利]基于DOM树抽象的包装器自动生成方法

权利要求书

1.一种基于DOM树抽象的包装器自动生成方法，其特征在于：包括如下步骤，

步骤S1、包装器生成阶段：

步骤S11、用户输入网页集合，通过网页预处理去除源码中的杂质信息，并解析成DOM树，得到DOM树集合；

步骤S12、对DOM树进行合并，遍历DOM树对相同标签的子节点进行合并，并且针对每个节点进行路径特征标注，最终将DOM树集合转化为合并树集合；

步骤S13、对合并树集合进行抽象操作得到抽象树，并将抽象树存入数据库中；

步骤S14、根据配置文档确定结构化数据在合并树中的路径特征，将对应的路径特征经过处理后写入文档中，生成包装器；

步骤S2、结构化数据抽取阶段：

步骤S21、将待抽取的目标网页解析成DOM树；

步骤S22、将DOM树与抽象树进行匹配确定目标网页是否为包装器对应的类型网页；

步骤S23、读取配置文档中的路径对目标DOM树进行抽取；

所述步骤S12采用CombinerTree算法实现将DOM树集合转化为合并树集合，具体的CombinerTree算法实现如下：

（1）设child [n₀]为DOM树T_i的根节点vi子节点；

（2）输入节点vi，若vi存在子节点，则获取vi的子节点并存入child [n₀]；

（3）对child [n₀]中的所有子节点进行两两判断：

假设选取的两个vi的子节点为k、h，若kh，并且k的标签=h的标签，则获取子节点h的子节点并存入temp [m]中；而后，将temp [m]添加为子节点k的子节点，移除子节点h；

（4）再次获取vi的子节点并存入child[n₁]，设ai为child[n₁] 中的第i个节点，i=0,1,2,……对所有节点ai判断执行步骤（2）-（4）的操作，输出合并树T_i；

（5）对所有DOM树执行步骤（1）-（4）的操作，输出合并树集合D={T₁,T₂,…,T_n}。

2.根据权利要求1所述的基于DOM树抽象的包装器自动生成方法，其特征在于：所述步骤S13采用AbstractTree算法实现将合并树集合进行抽象操作得到抽象树，具体的AbstractTree算法实现如下：

（1）输入合并树集合D={T₁,T₂,…,T_n}；

（2）将T₁转化成抽象树的数据结构，并存入T_i；

（3）对于每个T_j∈{ T₂,…,T_n }进行判断：

（3.1）获取T_i的根节点并存入v_i0，获取T_j的根节点并存入v_j0；

（3.2）对v_i0与v_j0递归执行比较操作：

（3.2.1）获取v_i0的子节点并存入child_i[n]，获取v_j0的子节点并存入child_j[m]；

（3.2.2）对于每个节点k∈child_j [m]进行判断：若child_i[n]中不存在节点与k对应，将节点k添加为v_i0的子节点，同时更新child_i[n]；

（3.2.3）依此类推，对v_i0的子节点与v_j0的子节点，v_i0的子节点的子节点与v_j0的子节点的子节点，……递归执行比较操作。