[发明专利]一种搜索网页的方法和装置

说明书

本发明公开了一种搜索网页的方法和装置，属于网络技术领域。所述方法包括：根据第一网页地址，访问所述第一网页地址指示的网页；获取访问的所述网页的网页信息；从所述网页信息中提取第二网页地址。本发明通过根据已经获得的第一网页地址，访问该第一网页地址指示的网页，获取到访问网页的网页信息，每个网页的网页信息中含有大量网页地址信息，通过遍历此网页信息，从网页信息中提取大量第二网页地址，解决了现有技术中手动搜索网页方法搜索网页的数量受到局限、效率低下的问题，同时解决了现有技术中手动搜索网页方法成本高的问题。

技术领域

本发明涉及网络技术领域，特别涉及一种搜索网页的方法和装置。

背景技术

随着互联网技术的迅速发展、网页内容的不断丰富，网页浏览的速度会受到影响。为了优化网页，提高网页浏览的速度，现有技术通常通过搜索网页并获取网页的网页信息，对网页信息加以分析，从而得到网页优化的方法，进而提高网页浏览的速度。而其中搜索网页的方法一般是通过手动搜索网页，该手动搜索网页的过程包括：技术人员手动填写指定网页，并对其进行访问，每当访问完成时，继续对其他指定网页进行访问，在访问过程中获取网页信息，直到所有指定网页访问完毕。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

手动对指定网页进行搜索，在整个搜索过程中均需要技术人员参与，不仅搜索网页的数量受到局限、效率低下，且成本高。

发明内容

为了解决搜索网页时数量受到局限、效率低下，成本高的问题，本发明实施例提供了一种搜索网页的方法和装置。所述技术方案如下：

一种搜索网页的方法，所述方法包括：

根据第一网页地址，访问所述第一网页地址指示的网页；

获取访问的所述网页的网页信息；

从所述网页信息中提取第二网页地址。

根据第一网页地址，访问所述第一网页地址指示的网页，之前包括：

获取预先配置的搜索配置信息，所述搜索配置信息包括第一网页地址；

和/或，

获取提取到的所述第二网页地址，将所述第二网页地址作为所述第一网页地址。

所述搜索配置信息还包括预设网页深度；

相应地，从所述网页信息中提取第二网页地址，之后包括：

当所述第二网页地址达到所述预设网页深度时，结束；

当所述第二网页地址未达到所述预设网页深度时，继续执行搜索网页过程。

所述搜索配置信息还包括预设线程数，所述预设线程数用于指示同时访问的网页数量；

相应地，根据第一网页地址，访问所述第一网页地址指示的网页，包括：

根据所述搜索配置信息指示的符合所述预设线程数的多个第一网页地址，同时访问所述多个第一网页地址指示的网页。

所述搜索配置信息还包括日志配置信息，所述日志配置信息用于指示待保存的信息类型；

相应地，获取访问的所述网页的网页信息，包括：

根据所述日志配置信息，获取访问的所述网页的网页信息中符合所述日志配置信息的信息。

根据第一网页地址，访问所述第一网页地址指示的网页，之后包括：

检测所述搜索配置信息是否发生变化，当所述搜索配置信息中的任一项发生变化时，根据变化后的搜索配置信息更新所述搜索配置信息。

所述搜索配置信息还包括预设网页类型，