[发明专利]网站数据获取方法、装置及系统

说明书

技术领域

本发明涉及信息技术领域，尤其是一种网站数据获取方法、装置及系统。

背景技术

随着信息技术的不断发展，越来越多的网站随之出现。其中，一些企业为了对企业所在内部网站情况进行分析，通常会委托其他企业获取企业内网网站的相关数据。目前，服务企业主要通过部署在被服务企业的爬虫程序，获取被服务企业对应的内网网站数据。然而，由于爬虫的代码量较大，爬虫在爬取被服务企业的内网网站数据时会消耗大量的服务器资源，因此被服务企业的通常会对爬虫进行限制和屏蔽，造成爬虫无法获取内网网站数据。为了解决上述问题，爬虫主要通过代理服务器进行网站数据获取，其中，代理服务器主要用于爬取受限的网站资源，即当爬虫获取到网站数据获取请求后，将网站数据获取请求直接转发给代理服务器，由代理服务器获取被服务器企业的网站数据。

目前，在爬取网站数据时，代理服务器通常在接收网站数据获取请求后，直接获取网站数据。然而，由于代理服务器通常会被安装后门、捆绑流氓软件等，代理服务器接收的网站数据获取请求可能是后门、捆绑流氓软件发送的，造成网站数据被后门或者流氓软件窃取，从而导致网站数据的安全性较低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网站数据获取方法、装置及系统。

依据本发明一方面，本发明实施例提供一种网站数据获取方法，包括：

向代理服务器发送网站数据获取请求，以使得所述代理服务器进行网站数据获取，其中，所述网站数据获取请求包括网站的标识信息和授权信息，所述授权信息用于指示所述代理服务器对爬虫服务器进行验证；

当所述授权信息通过验证时，接收所述代理服务器发送的与所述网站的标识信息对应的网站数据。

依据本发明另一方面，本发明实施例提供另一种网站数据获取方法，包括：

接收爬虫服务器发送的网站数据获取请求，其中，所述网站数据获取请求包括网站的标识信息和授权信息；

对所述授权信息进行验证；

当所述授权信息通过验证时，获取与所述网站的标识信息对应的网站数据；

将所述网站数据发送给所述爬虫服务器。

依据本发明又一方面，本发明实施例提供一种爬虫服务器，包括：

发送单元，用于向代理服务器发送网站数据获取请求，以使得所述代理服务器进行网站数据获取，其中，所述网站数据获取请求包括网站的标识信息和授权信息，所述授权信息用于指示所述代理服务器对爬虫服务器进行验证；

接收单元，用于当所述授权信息通过验证时，接收所述代理服务器发送的与所述网站的标识信息对应的网站数据。

依据本发明再一方面，本发明实施例提供一种代理服务器，包括：

接收单元，用于接收爬虫服务器发送的网站数据获取请求，其中，所述网站数据获取请求包括网站的标识信息和授权信息；

验证单元，用于对所述授权信息进行验证；

获取单元，用于当所述授权信息通过验证时，获取与所述网站的标识信息对应的网站数据；

发送单元，用于将所述网站数据发送给所述爬虫服务器。

依据本发明又再一方面，本发明实施例提供一种网站数据获取方法系统，包括：爬虫服务器和代理服务器，

所述爬虫服务器，用于向代理服务器发送网站数据获取请求，其中，所述网站数据获取请求包括网站的标识信息和授权信息，所述授权信息用于指示所述代理服务器对爬虫服务器进行验证；

所述代理服务器，用于对所述授权信息进行验证，当所述授权信息通过验证时，获取与所述网站的标识信息对应的网站数据，将所述网站数据发送给所述爬虫服务器。

所述爬虫服务器，还用于当所述授权信息通过验证时，接收所述代理服务器发送的与所述网站的标识信息对应的网站数据。