[发明专利]一种网站目标页的发现方法及装置

权利要求书

1.一种网站目标页的发现方法，其特征在于，包括：

从URL队列中提取具有步骤标识的URL地址；

判断提取出的当前URL地址的步骤标识是否为预设的最终步骤标识；

当所述当前URL地址的步骤标识并非所述最终步骤标识时，根据所述步骤标识对所述当前URL地址指向的页面执行抓取操作，以得到下一级URL地址；

为所述下一级URL地址确定步骤标识，所述下一级URL地址的步骤标识不同于所述当前URL地址的步骤标识；

将所述下一级URL地址加入所述URL队列。

2.根据权利要求1所述的网站目标页的发现方法，其特征在于，还包括：

当所述当前URL地址的步骤标识为所述最终步骤标识时，存储所述当前URL地址。

3.根据权利要求1所述的网站目标页的发现方法，其特征在于，还包括：重复提取所述URL地址、判断所述步骤标识、进行抓取操作、确定步骤标识以及加入所述URL队列的步骤，直至所述URL队列中的全部URL地址的步骤标识都是所述最终步骤标识。

4.根据权利要求1所述的网站目标页的发现方法，其特征在于，所述根据所述步骤标识对所述当前URL地址指向的页面执行抓取操作，以得到下一级URL地址，包括：

将所述当前URL地址指向的页面的数据信息中的URL地址与预先配置的正则表达式进行匹配，以筛选出满足所述正则表达式的URL地址，得到所述下一级URL地址。

5.根据权利要求1所述的网站目标页的发现方法，其特征在于，所述根据所述步骤标识对所述当前URL地址指向的页面执行抓取操作，包括：

使用选择器在所述当前URL地址指向的页面定位所述下一级URL地址所在的页面区域，再进行所述下一级URL地址的抓取。

6.根据权利要求1所述的网站目标页的发现方法，其特征在于，还包括：

初始进入所述URL队列中的URL地址通过枚举或配置模板生成。

7.一种网站目标页的发现装置，其特征在于，包括：

提取单元，适于从URL队列中提取具有步骤标识的URL地址；

判断单元，适于判断提取出的当前URL地址的步骤标识是否为预设的最终步骤标识；

抓取单元，适于当所述当前URL地址的步骤标识并非所述最终步骤标识时，根据所述步骤标识对所述当前URL地址指向的页面执行抓取操作，以得到下一级URL地址；

标记单元，适于为所述下一级URL地址确定步骤标识，所述下一级URL地址的步骤标识不同于所述当前URL地址的步骤标识；

添加单元，适于将所述下一级URL地址加入所述URL队列。

8.根据权利要求7所述的网站目标页的发现装置，其特征在于，还包括：

存储单元，适于当所述当前URL地址的步骤标识为所述最终步骤标识时，存储所述当前URL地址。

9.根据权利要求7所述的网站目标页的发现装置，其特征在于，还包括：

循环单元，适于控制所述提取单元、判断单元、抓取单元和标记单元分别重复提取所述URL地址、判断所述步骤标识、进行抓取操作、确定步骤标识以及加入所述URL队列的步骤，直至所述URL队列中的全部URL地址的步骤标识都是所述最终步骤标识。

10.根据权利要求7所述的网站目标页的发现装置，其特征在于，所述抓取单元适于：将所述当前URL地址指向的页面的数据信息中的URL地址与预先配置的正则表达式进行匹配，以筛选出满足所述正则表达式的URL地址，得到所述下一级URL地址。

11.根据权利要求7所述的网站目标页的发现装置，其特征在于，所述抓取单元还适于：使用选择器在所述当前URL地址指向的页面定位所述下一级URL地址所在的页面区域，再进行所述下一级URL地址的抓取。

12.根据权利要求7所述的网站目标页的发现装置，其特征在于，初始进入所述URL队列中的URL地址通过枚举或配置模板生成。