[发明专利]数据获取方法、装置、计算机设备和存储介质

说明书

本申请涉及一种网页元素的数据获取方法、装置、计算机设备和存储介质，所述方法包括：获取第一目标网页的第一网页元素路径信息；当第一目标网页中至少两个同类型的网页元素被触发时，获取被触发的第一网页元素的路径信息；根据第一网页元素的路径信息获取路径结构相似的第一相似路径信息；根据第一相似路径信息以及第一网页元素路径信息确定第一目标网页中的多个第一目标元素，获取多个第一目标元素的网页数据。上述方法能够针对不同网页的网页结构批量获取目标元素的网页数据。

技术领域

本申请涉及网页元素处理技术领域，特别是涉及一种网页元素的数据获取方法、装置、计算机设备和存储介质。

背景技术

随着浏览器的盛行，越来越多的网络应用应运而生。网络应用中存在大量有价值的网页数据。例如，电商网站商品列表信息数据、博客文章列表数据、微博热门数据等。不同的网页具有不同的网页结构，如何批量获取这些网页数据是网页数据抓取需要解决的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够针对不同网页的网页结构批量获取目标元素的网页数据的一种网页元素的数据获取方法、装置、计算机设备和存储介质。

一种网页元素的数据获取方法，该方法包括：获取第一目标网页的第一网页元素路径信息；当第一目标网页中至少两个同类型的网页元素被触发时，获取被触发的第一网页元素的路径信息；根据第一网页元素的路径信息获取路径结构相似的第一相似路径信息；根据第一相似路径信息以及第一网页元素路径信息确定第一目标网页中的多个第一目标元素，获取多个第一目标元素的网页数据。

在其中一个实施例中，获取第一目标网页的第一网页元素路径信息，包括：遍历第一目标网页的DOM树结构，根据遍历结果生成第一网页元素路径信息。

在其中一个实施例中，一种网页元素的数据获取方法还包括：根据第一网页元素在第一目标网页中的坐标值获取第一网页元素的边界值；根据边界值生成对第一网页元素的遮罩层；获取被触发的第一网页元素的路径信息，包括：根据遮罩层获取被触发的第一网页元素的路径信息。

在其中一个实施例中，一种网页元素的数据获取方法还包括：获取第一目标网页中的翻页信息；根据翻页信息获取第二目标网页；获取第二目标网页的第二网页元素路径信息；当第二目标网页中至少两个同类型的网页元素被触发时，获取被触发的第二网页元素的路径信息；根据被触发的第二网页元素的路径信息获取路径结构相似的第二相似路径信息；根据第二相似路径信息以及第二网页元素路径信息确定第二目标网页中的多个第二目标元素，获取多个第二目标元素的网页数据。

在其中一个实施例中，根据第一相似路径信息以及第一网页元素路径信息确定第一目标网页中的多个第一目标元素，包括：根据第一相似路径信息以及第一网页元素路径信息，从第一目标网页中获取被触发的同类型的第一网页元素的同级元素和父级元素，分别将被触发的同类型的第一网页元素、同级元素和父级元素作为第一目标元素。

在其中一个实施例中，获取多个第一目标元素的网页数据，包括：获取第一目标网页的配置信息，配置信息用于指示提取第一目标网页的网页元素中预设参数的数据；根据配置信息获取多个第一目标元素的网页数据。

在其中一个实施例中，预设参数包括文字参数和/或链接参数，根据配置信息获取多个第一目标元素的网页数据，包括：根据配置信息获取多个第一目标元素中的文字数据和/或链接数据，网页数据包括文字数据和链接数据。

一种网页元素的数据获取装置，该装置包括：第一获取模块，用于获取第一目标网页的第一网页元素路径信息；第二获取模块，用于当第一目标网页中至少两个同类型的网页元素被触发时，获取被触发的第一网页元素的路径信息；第三获取模块，用于根据第一网页元素的路径信息获取路径结构相似的第一相似路径信息；第四获取模块，用于根据第一相似路径信息以及第一网页元素路径信息确定第一目标网页中的多个第一目标元素，获取多个第一目标元素的网页数据。