[发明专利]一种网站目标页的发现方法及装置

说明书

技术领域

本发明涉及互联网爬虫领域，特别是涉及一种网站目标页的发现方法及装置。

背景技术

互联网爬虫技术，通常是从指定的网站入口页，通过遍历网站的页面链接，使用正则匹配的方法找到期望的页面链接。然而，互联网网站的层次各不相同，不同行业的网站分类层次不同，同一行业的不同网站分类层次页不同。例如，电商行业的网站分类层次通常依次为入口页面、分类页面、分页页面和详细页面，而汽车行业的网站分类层次通常依次为入口页面、车型列表、车系列表和车系页面。

在现实应用场景中，往往需要爬虫发现业务去获取目标页的地址，从而可基于发现的所述目标页的地址爬取其他有用的信息。然而，现有技术中，由于上述网站分类层次的不同，需要不同的爬虫程序才能适应不同类网站的目标页地址的发现，这使得为爬取不同的网站需要耗费较大资源。

发明内容

本发明解决的技术问题是提供一种网站目标页的发现方法及装置，使得可以通过一套通用的爬虫系统来爬取不同网站的目标页，节省了为爬取不同功能网站目标页所耗费的资源。

为解决上述技术问题，本发明实施例提供一种网站目标也的发现方法，所述方法包括：

从URL队列中提取具有步骤标识的URL地址；

判断提取出的当前URL地址的步骤标识是否为预设的最终步骤标识；

当所述当前URL地址的步骤标识并非所述最终步骤标识时，根据所述步骤标识对所述当前URL地址指向的页面执行抓取操作，以得到下一级URL地址；

为所述下一级URL地址确定步骤标识，所述下一级URL地址的步骤标识不同于所述当前URL地址的步骤标识；

将所述下一级URL地址加入所述URL队列。

可选地，所述网站目标页的发现方法还包括：

当所述当前URL地址的步骤标识为所述最终步骤标识时，存储所述当前URL地址。

可选地，所述网站目标页的发现方法还包括：重复提取所述URL地址、判断所述步骤标识、进行抓取操作、确定步骤标识以及加入所述URL队列的步骤，直至所述URL队列中的全部URL地址的步骤标识都是所述最终步骤标识。

可选地，所述根据所述步骤标识对所述当前URL地址指向的页面执行抓取操作，以得到下一级URL地址，包括：

将所述当前URL地址指向的页面的数据信息中的URL地址与预先配置的正则表达式进行匹配，以筛选出满足所述正则表达式的URL地址，得到所述下一级URL地址。

可选地，所述根据所述步骤标识对所述当前URL地址指向的页面执行抓取操作，包括：

使用选择器在所述当前URL地址指向的页面定位所述下一级URL地址所在的页面区域，再进行所述下一级URL地址的抓取。

所述网站目标页的发现方法，还包括：

初始进入所述URL队列中的URL地址通过枚举或配置模板生成。

本发明实施例还提供一种网站目标页的发现装置，包括：

提取单元，适于从URL队列中提取具有步骤标识的URL地址；

判断单元，适于判断提取出的当前URL地址的步骤标识是否为预设的最终步骤标识；

抓取单元，适于当所述当前URL地址的步骤标识并非所述最终步骤标识时，根据所述步骤标识对所述当前URL地址指向的页面执行抓取操作，以得到下一级URL地址；

标记单元，适于为所述下一级URL地址确定步骤标识，所述下一级URL地址的步骤标识不同于所述当前URL地址的步骤标识；

添加单元，适于将所述下一级URL地址加入所述URL队列。

可选地，所述网站目标页的发现装置，还包括：

存储单元，适于当所述当前URL地址的步骤标识为所述最终步骤标识时，存储所述当前URL地址。

可选地，所述网站目标页的发现装置还包括：

循环单元，适于控制所述提取单元、判断单元、抓取单元和标记单元分别重复提取所述URL地址、判断所述步骤标识、进行抓取操作、确定步骤标识以及加入所述URL队列的步骤，直至所述URL队列中的全部URL地址的步骤标识都是所述最终步骤标识。

可选地，所述抓取单元适于：将所述当前URL地址指向的页面的数据信息中的URL地址与预先配置的正则表达式进行匹配，以筛选出满足所述正则表达式的URL地址，得到所述下一级URL地址。

可选地，所述抓取单元还适于：使用选择器在所述当前URL地址指向的页面定位所述下一级URL地址所在的页面区域，再进行所述下一级URL地址的抓取。