[发明专利]爬虫路径确定方法、装置、存储介质与电子设备

权利要求书

1.一种爬虫路径确定方法，其特征在于，包括：

获取目标页面中各元素的属性；

利用预设的数据重复性指标和/或数据多样性指标，从所述属性中确定一种或多种特征属性；所述数据重复性指标是度量某一属性下不同元素所对应数据的重复程度的指标，所述数据多样性指标是度量某一属性下不同元素所对应数据的多样程度的指标；

通过所述特征属性确定所述目标页面的爬虫路径；

其中，所述利用预设的数据重复性指标和/或数据多样性指标，从所述属性中确定一种或多种特征属性，包括：

对所述各元素的属性进行统计，确定每种属性的所述数据重复性指标的值和所述数据多样性指标的值；将所述数据重复性指标的值大于第一阈值，所述数据多样性指标的值大于第二阈值的属性确定为所述特征属性；或者

对所述各元素的属性进行统计，确定每种属性的所述数据重复性指标的值，将所述数据重复性指标的值大于第三阈值的所述属性确定为候选属性；在每种候选属性中分别去除数量最多的一个重复数据，然后确定每种候选属性的所述数据多样性指标的值；将所述数据多样性指标的值大于第四阈值的候选属性确定为所述特征属性；

所述通过所述特征属性确定所述目标页面的爬虫路径，包括：

通过所述特征属性对所述目标页面的所有元素进行筛选，以确定待爬取元素，根据所述待爬取元素的位置信息确定所述爬虫路径。

2.根据权利要求1所述的方法，其特征在于，所述元素包括文本、图标或图片，所述元素的属性包括元素的类型、文本内容、对应的资源。

3.根据权利要求1所述的方法，其特征在于，所述对所述各元素的属性进行统计，确定每种属性的所述数据重复性指标的值和所述数据多样性指标的值，包括：

统计每种属性下所述各元素对应的数据，根据所述每种属性下所有数据的数量、重复数据的数量，确定所述每种属性的所述数据重复性指标的值。

4.根据权利要求3所述的方法，其特征在于，所述根据所述每种属性下所有数据的数量、重复数据的数量，确定所述每种属性的所述数据重复性指标的值，包括：

通过以下公式计算任一属性i的所述数据重复性指标的值：

其中，UD_i表示属性i的所述数据重复性指标的值，Q₀表示属性i的所有数据的数量，max(f)表示属性i中不同重复数据的数量中的最大值。

5.根据权利要求2所述的方法，其特征在于，所述对所述各元素的属性进行统计，确定每种属性的所述数据重复性指标的值和所述数据多样性指标的值，包括：

统计每种属性下所述各元素对应的数据，根据所述每种属性下所有数据的数量、非空数据的数量、去重后非空数据的数量，确定所述每种属性的所述数据多样性指标的值。

6.根据权利要求5所述的方法，其特征在于，所述根据所述每种属性下所有数据的数量、非空数据的数量、去重后非空数据的数量，确定所述每种属性的所述数据多样性指标的值，包括：

通过以下公式计算任一属性i的所述数据多样性指标的值：

其中，IIF_i表示属性i的所述数据多样性指标的值，Q₀表示属性i的所有数据的数量，Q₁表示属性i的非空数据的数量，Q₂表示属性i的去重后非空数据的数量。

7.根据权利要求3所述的方法，其特征在于，所述根据所述每种属性下所有数据的数量、重复数据的数量，确定所述每种属性的所述数据重复性指标的值，包括：

通过以下公式计算任一属性i的所述数据重复性指标的值：

其中，UD_i表示属性i的所述数据重复性指标的值，Q₀表示属性i的所有数据的数量，f1、f2、…、fn分别表示n个重复数据的数量，a1、a2、…、an分别为f1、f2、…、fn的权重，满足对于1～n之间的任意自然数i和j，若fifj，则有aiaj。