[发明专利]网站数据获取方法、装置及系统

权利要求书

1.一种网站数据获取方法，其特征在于，包括：

向代理服务器发送网站数据获取请求，以使得所述代理服务器进行网站数据获取，其中，所述网站数据获取请求包括网站的标识信息和授权信息，所述授权信息用于指示所述代理服务器对爬虫服务器进行验证；

当所述授权信息通过验证时，接收所述代理服务器发送的与所述网站的标识信息对应的网站数据。

2.根据权利要求1所述的网站数据获取方法，其特征在于，所述向代理服务器发送网站数据获取请求之前，所述方法还包括：

判断预置存储位置中是否存在与所述网站的标识信息对应的代理服务器，其中，所述预置存储位置保存有不同网站的标识信息、以及与所述标识信息对应的代理服务器；

所述向代理服务器发送网站数据获取请求包括：

若存在，则向与所述网站的标识信息对应的代理服务器发送网站数据获取请求。

3.根据权利要求1所述的网站数据获取方法，其特征在于，所述当所述授权信息通过验证时，接收所述代理服务器发送的与所述网站的标识信息对应的网站数据之后，所述方法还包括：

将所述网站数据进行保存。

4.一种网站数据获取方法，其特征在于，包括：

接收爬虫服务器发送的网站数据获取请求，其中，所述网站数据获取请求包括网站的标识信息和授权信息；

对所述授权信息进行验证；

当所述授权信息通过验证时，获取与所述网站的标识信息对应的网站数据；

将所述网站数据发送给所述爬虫服务器。

5.根据权利要求4所述的网站数据获取方法，其特征在于，所述接收爬虫服务器发送的网站数据获取请求包括：

当所述爬虫服务器判断预置存储位置中存在与所述网站的标识信息对 应的代理服务器时，接收爬虫服务器发送的网站数据获取请求，其中，所述预置存储位置保存有不同网页的标识信息、以及与所述标识信息对应的代理服务器。

6.一种爬虫服务器，其特征在于，包括：

发送单元，用于向代理服务器发送网站数据获取请求，以使得所述代理服务器进行网站数据获取，其中，所述网站数据获取请求包括网站的标识信息和授权信息，所述授权信息用于指示所述代理服务器对爬虫服务器进行验证；

接收单元，用于当所述授权信息通过验证时，接收所述代理服务器发送的与所述网站的标识信息对应的网站数据。

7.根据权利要求6所述的爬虫服务器，其特征在于，所述装置还包括：判断单元，

所述判断单元，用于判断预置存储位置中是否存在与所述网站的标识信息对应的代理服务器，其中，所述预置存储位置保存有不同网站的标识信息、以及与所述标识信息对应的代理服务器；

所述发送单元，具体用于若所述判断单元判断预置存储位置中是否存在与所述网站的标识信息对应的代理服务器，则向与所述网站的标识信息对应的代理服务器发送网站数据获取请求。

8.一种代理服务器，其特征在于，包括：

接收单元，用于接收爬虫服务器发送的网站数据获取请求，其中，所述网站数据获取请求包括网站的标识信息和授权信息；

验证单元，用于对所述授权信息进行验证；

获取单元，用于当所述授权信息通过验证时，获取与所述网站的标识信息对应的网站数据；

发送单元，用于将所述网站数据发送给所述爬虫服务器。

9.根据权利要求8所述的代理服务器，其特征在于，

所述接收单元，具体用于当所述爬虫服务器判断预置存储位置中存在与所述网站的标识信息对应的代理服务器时，接收所述爬虫服务器发送的授权信息，其中，所述预置存储位置保存有不同网页的标识信息、以及与 所述标识信息对应的代理服务器。

10.一种网站数据获取方法系统，其特征在于，包括权利要求6-7所述的爬虫服务器和权利要求8-9所述的代理服务器。