[发明专利]一种生成网页结构模板的方法及系统

说明书

技术领域

本申请涉及网页处理技术，特别是涉及一种生成网页结构模板的方法及系统。

背景技术

互联网中的大部分网页都是利用动态网页技术生成。动态网页技术使用固定的网页结构模板生成动态网页，当用户向服务器发送请求时，服务器通过脚本语言提取出保存在数据库中的网页内容，填充进网页结构模板中，并呈现给终端用户。

在各种基于互联网的应用中，获取这些动态页面的结构模板，可以为压缩页面数据、抽取网页信息提供极大的支持。而对于一般的互联网应用，都是针对站点自身的应用，因此不存在不了解网页结构模板的情况。

但是，对于面向整个互联网或多个站点的应用，如搜索引擎、网页信息抽取等，需要抓取和分析大量不同站点的网页，这些网页大部分都是由动态页面技术生成的。因此，如何获取不同站点的网页结构模板，以便在信息抽取的环节提供信息定位以及批量处理数据，成为一个亟待解决的问题。

发明内容

本申请提供了一种生成网页结构模板的方法及系统，以解决获取不同站点的网页结构模板的问题。

为了解决上述问题，本申请公开了一种生成网页结构模板的方法，包括：

对样本网页进行相似网页的聚合计算，得到相似网页构成的集合；

针对每个集合，解析集合中所有网页的页面结构，得到每个网页的DOM树结构；

通过对集合中所有网页的DOM树结构进行分析，对应每个集合分别生成一个DOM树模板，并将该DOM树模板作为集合的网页结构模板。

优选的，所述对应每个集合分别生成一个DOM树模板之后，还包括：对每个DOM树模板自顶向下分别进行重复遍历，每次遍历时查找DOM树模板中是否存在DOM结构相同的兄弟节点：如果存在，则将所述DOM结构相同的兄弟节点合并为一个节点，并对该合并后的节点标注LOOP属性，然后完成本次遍历后继续下一次的自顶向下遍历；如果完成本次遍历后整个DOM树模板中都不存在DOM结构相同的兄弟节点，则结束遍历；将所述不存在DOM结构相同的兄弟节点的DOM树模板作为集合对应的网页结构模板。

优选的，所述对集合中所有网页的DOM树结构进行分析之前，还包括：对每个DOM树自顶向下进行遍历，遍历时查找每个DOM树中是否存在DOM结构相同的兄弟节点，如果存在，则将所述DOM结构相同的兄弟节点合并为一个节点，并对该合并后的节点标注LOOP属性。

优选的，所述通过对集合中所有网页的DOM树结构进行分析，对应每个集合分别生成一个DOM树模板，包括：对集合中所有网页的DOM树结构自顶向下进行以下处理：

S1.确定当前节点，并从所述集合中获取包含当前节点的网页子集合；

S2.对所述网页子集合中的每个网页DOM树中当前节点的下一层孩子节点进行编号；

S3.对所述网页子集合的所有DOM树中编号的下一层孩子节点进行不同DOM树的两两对齐；

S4.根据对齐结果生成集合的DOM树模板中对应下一层孩子节点的结构模板；

S5.遍历所述对应下一层孩子节点的结构模板，将所述结构模板中的每个节点分别作为当前节点，重复S1至S5，直至下一层没有孩子节点为止。

优选的，所述步骤S3包括：针对所述网页子集合的所有DOM树中编号的下一层孩子节点，将不同DOM树中具有任一唯一属性的节点进行两两对齐，并将对齐的节点进行标记；根据标记节点的对齐位置分割出不同DOM树中未标记的剩余节点，然后对所述未标记的剩余节点进行不同DOM树的对齐操作。

优选的，所述唯一属性包括：

唯一标签名称，和/或

唯一id，和/或

唯一class属性，和/或

唯一href属性，和/或

唯一alt属性，和/或

唯一文字。

优选的，对所述未标记的剩余节点进行不同DOM树的对齐操作，包括：将不同DOM树中未标记的剩余节点进行两两对齐的组合；对每一种组合方案计算编辑距离；选择编辑距离最短的对齐方案进行对齐。

优选的，所述对每一种组合方案计算编辑距离，包括：设置每一种组合方案的初始编辑距离；在每一种组合方案的对齐过程中，每删除一个节点，则编辑距离加上预置的权重值；每添加一个节点，则编辑距离也加上预置的权重值；对齐结束后，得到每一种组合方案的最终编辑距离。