[发明专利]网页结构化数据的抓取方法及系统

说明书

本发明提供一种网页结构化数据的抓取方法及系统。该网页结构化数据的抓取方法包括：依次对每列网页数据执行如下处理：获取第一条数据的标签链作为第一标签链；当第一标签链中存在表格元素时：获取存在表格元素的全部子标签以构成标签合集；提取标签合集中包括表格文字标签的文本以组织列结构化数据；当第一标签链中不存在表格元素时：获取第二条数据的标签链作为第二标签链；根据第一标签链和第二标签链获取总开头标签；将存在总开头标签的其余数据的标签链放入子节点合集中；提取子节点合集中的全部文本标签以组织列结构化数据；根据每列网页数据对应的列结构化数据组成网页结构化数据，以保留抓取数据的原有结构，方便后续的数据处理。

技术领域

本发明涉及数据抓取领域，具体地，涉及一种网页结构化数据的抓取方法及系统。

背景技术

结构化数据也称作行数据，是一种特定类型的信息。狭义的结构化数据是由二维表结构来逻辑表达和实现的，其严格遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。而在当今的网页中，大量存在着广义的结构化数据，其表现为拥有一定的相同样式，且以可推理可预测的形式出现。例如，搜索引擎上的所有搜索结果，大致都是由搜索结果、部分摘要以及URL链接所构成。对整个搜索结果来说，这构成了一个有序的结构单元，可以视作结构化数据。同样的结构化数据还有网页中的表格、图片集、文章段落等。

从网页中抓取数据时，现有技术一般采取如下两种方法：

1、直接复制粘贴到本地文件。如果仅仅使用复制粘贴的方式去抓取网页上的数据，极有可能丢失了数据原有的结构，仅仅得到了一个数据集。使用者必须重新处理该数据，根据一定的规则重新组织这些数据。这种方式加大了使用者的工作量，也可能因为操作原因出现结构上的错误。

2、直接保存网页到本地。如果仅是保存数据以供简单的查阅，这种方式是可行的。但如果需要对数据进行入库、使用等操作，仍然无法避免地需要进行方法1的步骤，对数据进行重新整理。

发明内容

本发明实施例的主要目的在于提供一种网页结构化数据的抓取方法及系统，以保留抓取数据的原有结构，方便后续的数据处理。

为了实现上述目的，本发明实施例提供一种网页结构化数据的抓取方法，包括：

获取一列或多列网页数据；

依次对每列网页数据执行如下处理：

获取第一条数据的标签链作为第一标签链；

判断第一标签链中是否存在表格元素；

当第一标签链中存在表格元素时：

将表格元素所在的标签层级作为根节点，获取根节点下存在表格元素的全部子标签以构成标签合集；

提取标签合集中包括表格文字标签的文本以组织列结构化数据；

当第一标签链中不存在表格元素时：

获取第二条数据的标签链作为第二标签链；

根据第一标签链和第二标签链获取总开头标签；

判断其余每条数据的标签链中是否存在总开头标签；当存在总开头标签时，将该数据的标签链放入子节点合集中；

提取子节点合集中的全部文本标签以组织列结构化数据；

根据每列网页数据对应的列结构化数据组成网页结构化数据。

本发明实施例还提供一种网页结构化数据的抓取系统，包括：

第一获取单元，用于获取一列或多列网页数据；

第二获取单元，用于获取第一条数据的标签链作为第一标签链；