[发明专利]网页爬取方法及装置

权利要求书

1.一种网页爬取方法，其特征在于，包括：

从第一网站截取访问所述第一网站的访问请求，其中，所述访问请求的来源为第二网站；

从所述来源的统一资源定位符中获取所述第二网站的信息，其中，所述第二网站的信息包括待爬取用户在所述第二网站的账号信息；

根据所述第二网站的信息从所述第二网站上爬取网页。

2.根据权利要求1所述的方法，其特征在于，根据所述信息从所述第二网站上爬取网页包括：

通过多线程中的爬取线程使用预定账号登录所述第二网站，其中，所述多线程包括多个所述爬取线程，每个所述爬取线程对应一个所述预定账号；

在使用预定账号登录所述第二网站之后，使用所述第二网站的账号从所述第二网站上爬取网页。

3.根据权利要求2所述的方法，其特征在于，使用所述第二网站的账号从所述第二网站上爬取网页包括：

获取预先配置的限制信息；

控制所述爬取线程根据所述限制信息中的访问速度从所述第二网站上爬取网页。

4.根据权利要求2所述的方法，其特征在于，通过多线程中的爬取线程使用预定账号登录所述第二网站还包括：

为所述多线程中的每个线程绑定一个固定的网络地址。

5.根据权利要求2所述的方法，其特征在于，在登录所述第二网站需要验证码的情况下，使用所述预定账号登录所述第二网站包括以下至少之一：

根据预设方式输入验证码使用所述预定账号登录所述第二网站；

获取以图片形式出现的所述验证码，对所述图片中的验证码进行识别，并根据识别出的所述验证码使用所述预定账号登录所述第二网站。

6.根据权利要求5所述的方法，其特征在于，对所述图片中的验证码进行识别包括：

根据数据模型对所述图片中的验证码进行识别，其中，所述数据模型是根据多个训练数据训练得到的，所述训练数据包括：预先获取到的所述第二网站的验证码图片与该验证码图片对应的验证码。

7.根据权利要求5所述的方法，其特征在于，对所述图片中的验证码进行识别包括：

获取所述图片中的多个特征信息，其中，所述特征信息用于区分所述验证码和所述图片的背景；

根据所述多个特征信息对所述图片中的验证码进行识别。

8.一种网页爬取装置，其特征在于，包括：

截取单元，用于从第一网站截取访问所述第一网站的访问请求，其中，所述访问请求的来源为第二网站；

获取单元，用于从所述来源的统一资源定位符中获取所述第二网站的信息，其中，所述第二网站的信息包括待爬取用户在所述第二网站的账号信息；

爬取单元，用于根据所述第二网站的信息从所述第二网站上爬取网页。

9.根据权利要求8所述的装置，其特征在于，所述爬取单元包括：

登录模块，用于通过多线程中的爬取线程使用预定账号登录所述第二网站，其中，所述多线程包括多个所述爬取线程，每个所述爬取线程对应一个所述预定账号；

爬取模块，用于在使用预定账号登录所述第二网站之后，使用所述第二网站的账号从所述第二网站上爬取网页。

10.根据权利要求9所述的装置，其特征在于，所述爬取模块包括：

第一获取模块，用于获取预先配置的限制信息；

控制模块，用于控制所述爬取线程根据所述限制信息中的访问速度从所述第二网站上爬取网页。