[发明专利]基于DOM树抽象的包装器自动生成方法有效
| 申请号： | 201711172974.8 | 申请日： | 2017-11-22 |
| 公开（公告）号： | CN107943929B | 公开（公告）日： | 2021-09-28 |
| 发明（设计）人： | 陈星;张佳俊;王一洲 | 申请（专利权）人： | 福州大学 |
| 主分类号： | G06F16/958 | 分类号： | G06F16/958 |
| 代理公司： | 福州元创专利商标代理有限公司 35100 | 代理人： | 蔡学俊;丘鸿超 |
| 地址： | 350116 福建省福州市*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于DOM树抽象的包装器自动生成方法。包装器生成阶段：用户输入网页集合，得到DOM树集合；而后，对DOM树进行合并，遍历DOM树对相同标签的子节点进行合并，并且针对每个节点进行路径特征标注，最终将DOM树集合转化为合并树集合；对合并树集合进行抽象操作得到抽象树，并将抽象树存入数据库中；根据配置文档确定结构化数据在合并树中的路径特征，将对应的路径特征经过处理后写入文档中，生成包装器；结构化数据抽取阶段：将待抽取的目标网页解析成DOM树，与抽象树进行匹配确定目标网页是否为包装器对应的类型网页；读取配置文档中的路径对目标DOM树进行抽取。本发明不仅能实现自动化生产包装器，并且在准确率和时间性能上也有较好的表现。 | ||
| 搜索关键词： | 基于 dom 抽象 包装 自动 生成 方法 | ||
【主权项】：
一种基于DOM树抽象的包装器自动生成方法，其特征在于：包括如下步骤，步骤S1、包装器生成阶段：步骤S11、用户输入网页集合，通过网页预处理去除源码中的杂质信息，并解析成DOM树，得到DOM树集合；步骤S12、对DOM树进行合并，遍历DOM树对相同标签的子节点进行合并，并且针对每个节点进行路径特征标注，最终将DOM树集合转化为合并树集合；步骤S13、对合并树集合进行抽象操作得到抽象树，并将抽象树存入数据库中；步骤S14、根据配置文档确定结构化数据在合并树中的路径特征，将对应的路径特征经过处理后写入文档中，生成包装器；步骤S2、结构化数据抽取阶段：步骤S21、将待抽取的目标网页解析成DOM树；步骤S22、将DOM树与抽象树进行匹配确定目标网页是否为包装器对应的类型网页；步骤S23、读取配置文档中的路径对目标DOM树进行抽取。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于福州大学，未经福州大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711172974.8/，转载请声明来源钻瓜专利网。
