[发明专利]网页结构化数据的抓取方法及系统

摘要

本发明提供一种网页结构化数据的抓取方法及系统。该网页结构化数据的抓取方法包括：依次对每列网页数据执行如下处理：获取第一条数据的标签链作为第一标签链；当第一标签链中存在表格元素时：获取存在表格元素的全部子标签以构成标签合集；提取标签合集中包括表格文字标签的文本以组织列结构化数据；当第一标签链中不存在表格元素时：获取第二条数据的标签链作为第二标签链；根据第一标签链和第二标签链获取总开头标签；将存在总开头标签的其余数据的标签链放入子节点合集中；提取子节点合集中的全部文本标签以组织列结构化数据；根据每列网页数据对应的列结构化数据组成网页结构化数据，以保留抓取数据的原有结构，方便后续的数据处理。

主权项

1.一种网页结构化数据的抓取方法，其特征在于，包括：获取一列或多列网页数据；依次对每列网页数据执行如下处理：获取第一条数据的标签链作为第一标签链；判断所述第一标签链中是否存在表格元素；当所述第一标签链中存在表格元素时：将所述表格元素所在的标签层级作为根节点，获取所述根节点下存在表格元素的全部子标签以构成标签合集；提取所述标签合集中包括表格文字标签的文本以组织列结构化数据；当所述第一标签链中不存在表格元素时：获取第二条数据的标签链作为第二标签链；根据所述第一标签链和所述第二标签链获取总开头标签；判断其余每条数据的标签链中是否存在总开头标签；当存在总开头标签时，将该数据的标签链放入子节点合集中；提取所述子节点合集中的全部文本标签以组织列结构化数据；根据每列网页数据对应的列结构化数据组成网页结构化数据。