[发明专利]爬虫路径确定方法、装置、存储介质与电子设备

说明书

本公开提供了一种爬虫路径确定方法、爬虫路径确定装置、计算机可读存储介质与电子设备，涉及计算机技术领域。所述方法爬虫路径确定包括：获取目标页面中各元素的属性；利用预设的数据重复性指标和/或数据多样性指标，从所述属性中确定一种或多种特征属性；通过所述特征属性确定所述目标页面的爬虫路径。本公开降低了爬虫处理过程对于CPU、内存等资源的消耗，提高了效率，特别适用于移动端页面的信息爬取。

背景技术

爬虫是指通过自动化技术识别并抓取UI(User Interface，用户界面)信息的程序或脚本技术，在搜索引擎、数据分析等领域有着广泛应用。

相关技术中，抓取互联网页面中的信息主要是通过爬取邻近元素的方式实现的，具体为：在一个页面中，每次爬取信息前，先遍历页面中所有元素的位置坐标，确定距离当前最近的元素，再爬取该元素的信息，由此实现对每个元素的信息爬取。然而，该方法需要遍历所有位置坐标，计算量较高，且信息爬取的耗时较长。

发明内容

本公开提供了一种爬虫路径确定方法、爬虫路径确定装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善相关技术中实现页面爬虫所需计算量较高、耗时较长的问题。

根据本公开的第一方面，提供一种爬虫路径确定方法，包括：获取目标页面中各元素的属性；利用预设的数据重复性指标和/或数据多样性指标，从所述属性中确定一种或多种特征属性；通过所述特征属性确定所述目标页面的爬虫路径。

可选的，所述利用预设的数据重复性指标和/或数据多样性指标，从所述属性中确定一种或多种特征属性，包括：对所述各元素的属性进行统计，确定每种属性的所述数据重复性指标的值和所述数据多样性指标的值；根据所述每种属性的所述数据重复性指标的值和所述数据多样性指标的值，从所述属性中确定所述特征属性。

可选的，所述对所述各元素的属性进行统计，确定每种属性的所述数据重复性指标的值和所述数据多样性指标的值，包括：统计每种属性下所述各元素对应的数据，根据所述每种属性下所有数据的数量、重复数据的数量，确定所述每种属性的所述数据重复性指标的值。

可选的，所述根据所述每种属性下所有数据的数量、重复数据的数量，确定所述每种属性的所述数据重复性指标的值，包括：通过以下公式计算任一属性i的所述数据重复性指标的值：

其中，UD_i表示属性i的所述数据重复性指标的值，Q₀表示属性i的所有数据的数量，max(f)表示属性i中不同重复数据的数量中的最大值。

可选的，所述对所述各元素的属性进行统计，确定每种属性的所述数据重复性指标的值和所述数据多样性指标的值，包括：统计每种属性下所述各元素对应的数据，根据所述每种属性下所有数据的数量、非空数据的数量、去重后非空数据的数量，确定所述每种属性的所述数据多样性指标的值。

可选的，所述根据所述每种属性下所有数据的数量、非空数据的数量、去重后非空数据的数量，确定所述每种属性的所述数据多样性指标的值，包括：通过以下公式计算任一属性i的所述数据多样性指标的值：

其中，IIF_i表示属性i的所述数据多样性指标的值，Q₀表示属性i的所有数据的数量，Q₁表示属性i的非空数据的数量，Q₂表示属性i的去重后非空数据的数量。

可选的，所述根据所述每种属性的所述数据重复性指标的值和所述数据多样性指标的值，从所述属性中确定所述特征属性，包括：将所述数据重复性指标的值大于第一阈值，所述数据多样性指标的值大于第二阈值的所述属性确定为所述特征属性。

可选的，所述获取目标页面中各元素的属性，包括：基于所述目标页面的元素分布信息，对所述目标页面中各元素的属性进行预爬取。