[发明专利]一种基于模板的自适应Web页面数据抽取方法及系统在审
申请号: | 201810436651.3 | 申请日: | 2018-05-09 |
公开(公告)号: | CN110471645A | 公开(公告)日: | 2019-11-19 |
发明(设计)人: | 李艳霞;刘鹏;刘学 | 申请(专利权)人: | 中国科学院声学研究所 |
主分类号: | G06F8/20 | 分类号: | G06F8/20 |
代理公司: | 11472 北京方安思达知识产权代理有限公司 | 代理人: | 陈琳琳;刘振<国际申请>=<国际公布>= |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于模板的自适应Web页面数据抽取方法及系统,所述方法包括:步骤1)建立包含若干个模板的数据抽取模板库;步骤2)抓取Web页面的HTML源代码,构建网页DOM树;步骤3)提取Web页面URL,与数据抽取模板库中的模板依次进行匹配,如果全部匹配成功,则选择匹配度最高的模板作为最优数据抽取模板,转入步骤5);否则,进入步骤4);步骤4)根据匹配失败的数据重新制定新的模板,加入数据抽取模板库,转入步骤3);步骤5)根据最优数据抽取模板进行数据抽取,如果数据抽取完全成功,数据抽取结束;否则,进入步骤6);步骤6)对最优数据抽取模板进行自适应修改后进行数据抽取。该方法能够减少数据抽取过程中的人工干预。 | ||
搜索关键词: | 数据抽取 模板库 自适应 匹配 抓取 转入 数据抽取过程 网页DOM树 匹配成功 人工干预 匹配度 构建 抽取 失败 成功 制定 | ||
【主权项】:
1.一种基于模板的自适应Web页面数据抽取方法,所述方法包括:/n步骤1)建立包含若干个数据抽取模板的数据抽取模板库;/n步骤2)抓取Web页面的HTML源代码,由此构建网页DOM树;/n步骤3)提取Web页面URL,与数据抽取模板库中的模板依次进行匹配,如果全部匹配成功,则选择匹配度最高的模板作为最优数据抽取模板,转入步骤5);否则进入步骤4);/n步骤4)根据匹配失败的数据重新制定新的模板,加入数据抽取模板库,转入步骤3);/n步骤5)根据最优数据抽取模板进行数据抽取,如果数据抽取完全成功,数据抽取结束;否则,进入步骤6);/n步骤6)对最优数据抽取模板进行自适应修改后进行数据抽取,数据抽取结束。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院声学研究所,未经中国科学院声学研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810436651.3/,转载请声明来源钻瓜专利网。