[发明专利]一种基于模板的自适应Web页面数据抽取方法及系统

说明书

本发明公开了一种基于模板的自适应Web页面数据抽取方法及系统，所述方法包括：步骤1)建立包含若干个模板的数据抽取模板库；步骤2)抓取Web页面的HTML源代码，构建网页DOM树；步骤3)提取Web页面URL，与数据抽取模板库中的模板依次进行匹配，如果全部匹配成功，则选择匹配度最高的模板作为最优数据抽取模板，转入步骤5)；否则，进入步骤4)；步骤4)根据匹配失败的数据重新制定新的模板，加入数据抽取模板库，转入步骤3)；步骤5)根据最优数据抽取模板进行数据抽取，如果数据抽取完全成功，数据抽取结束；否则，进入步骤6)；步骤6)对最优数据抽取模板进行自适应修改后进行数据抽取。该方法能够减少数据抽取过程中的人工干预。

技术领域

本发明涉及Web页面自适应的数据抽取开发技术领域，特别涉及一种基于模板的自适应Web页面数据抽取方法及系统。

背景技术

Web数据抽取是Web数据挖掘工作中的一步重要的过程。Web数据抽取就是将Web页面上半结构化的数据按照一定的方法抽取出来，保存为结构化格式，如保存为XML文件或者存储到数据库中等。传统的Web数据抽取方法大多是针对某一类特定信息源的数据抽取，主要由一系列预先定义的抽取规则以及这些规则的执行代码组成，并没有充分利用页面数据的结构特征，且对页面的结构有一定要求，若页面结构是动态变化的便不能很准确的进行数据抽取，导致数据抽取失败。

Web数据抽取技术可分为基于页面DOM结构的数据抽取技术、基于统计理论的数据抽取技术和基于页面视觉特征的数据抽取技术。其中基于页面DOM结构的数据抽取技术应用最为广泛。

当前基于页面DOM结构的研究大多集中在对特定的页面进行推导，根据某类网页特征生成树中的数据对象的对应实例路径，在网页结构发生变化时无法自适应，即使发生的变化很小，仍然需要进行人工分析与修改。

发明内容

本发明的目的在于克服已有的页面DOM结构的研究大多集中在对特定的页面进行推导，根据某类网页特征生成树中的数据对象的对应实例路径，在网页结构发生变化时无法自适应，即使发生的变化很小，仍然需要进行人工分析与修改的缺陷，从而提供一种基于抽取模板的自适应Web页面数据抽取方法及系统。

为了实现上述目的，本发明提供了一种基于抽取模板的自适应Web页面数据抽取方法，所述方法包括：

步骤1)建立包含若干个数据抽取模板的数据抽取模板库；

步骤2)抓取Web页面的HTML源代码，由此构建网页DOM树；

步骤3)提取Web页面URL，与数据抽取模板库中的模板依次进行匹配，如果全部匹配成功，则选择匹配度最高的模板作为最优数据抽取模板，转入步骤5)；否则进入步骤4)；

步骤4)根据匹配失败的数据重新制定新的模板，加入数据抽取模板库，转入步骤3)；

步骤5)根据最优数据抽取模板进行数据抽取，如果数据抽取完全成功，数据抽取结束；否则，进入步骤6)；

步骤6)对最优数据抽取模板进行自适应修改后进行数据抽取，数据抽取结束。

作为上述方法的一种改进，所述步骤1)的数据抽取模板包括地址块和数据块，其中，所述地址块包含：表示数据抽取的网站的<site>和表示数据抽取的页面网址的<url>，所述数据块包含：表示需要抽取的页面数据的XPath路径表达式集合<xpaths>和表示数据搜索规则的<rule>；