[发明专利]基于中转模式的网页访问方法及系统、抓取路径服务器

说明书

本发明公开了一种基于中转模式的网页访问方法及系统、抓取路径服务器，属于计算机技术领域。所述方法包括：接收客户端发送的网页访问请求，网页访问请求中携带要访问的目标网站的标识；从至少一个抓取服务器中获取访问目标网站的标识对应的目标网站网速最快的目标抓取服务器；向客户端返回目标抓取服务器的标识，以供客户端通过目标抓取服务器的标识对应的目标抓取服务器访问目标网站。本发明实施例的技术方案，通过获取并向客户端提供访问目标网站网速最快的目标抓取服务器，为客户端提供了访问目标网站的最佳路径即网速最快的路径，本发明实施例的技术方案能够有效地提高客户端访问目标网站的访问网速，提高客户端的访问效率，提高用户的体验。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于中转模式的网页访问方法及系统、抓取路径服务器。

背景技术

随着移动互联网的飞速发展以及手机普及率的快速增长，使用手机的浏览器客户端进行搜索、网上冲浪的用户越来越多，需求也越来越大。

目前的手机的浏览器客户端访问网页的方式主要有两种：直连模式和中转模式。所谓直连模式就是手机的浏览器客户端采用超文本传送协议(hypertext transportprotocol；http)通过移动网络直接与要访问的目标网站建立传输控制协议(transmissioncontrol protocol；tcp)连接进行数据的交互。而中转模式则是手机的浏览器客户端采用http协议或者其他协议与中转服务器建立tcp连接，而后中转服务器采用代理的方式将手机的浏览器客户端发送的http请求发送到目标网站服务器，并在收到目标网站服务器返回的响应后再转发给手机的浏览器客户端。中转模式相对于直连模式可以借助多种方式减少网络流量的消耗，同时可以更快地响应用户的请求，给用户更好的体验。且现有市场占大半份额的低端手机内存小、中央处理器(Central Processing Unit；CPU)能力弱，手机浏览器客户端也无法执行JavaScript(简称js)和渲染页面，因此采用中转模式访问网页是最佳的方案。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：现有的网络机制下，一个网站中可能部署有多个网络环境，而现有技术的中转模式下，中转服务器仅采用代理的方式将手机的浏览器客户端发送的http请求发送到目标网站服务器，而中转服务器和目标网站服务器有可能属于不同的网络环境，导致访问网速较慢，访问效率较低。

发明内容

为了解决上述技术问题，本发明实施例提供了一种基于中转模式的网页访问方法及系统、抓取路径服务器。所述技术方案如下：

一方面，提供了一种基于中转模式的网页访问方法，所述方法包括：

接收客户端发送的网页访问请求，所述网页访问请求中携带要访问的目标网站的标识；

从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站的有效网速最快的抓取服务器作为目标抓取服务器，所述抓取服务器的有效网速根据存储的所述抓取服务器的所有次访问所述目标网站的网速计算得到，所述抓取服务器访问所述目标网站的网速和所述抓取服务器与所述目标网站的连接时间呈负相关关系，且所述抓取服务器访问所述目标网站的网速被定期检测；

向所述客户端返回所述目标抓取服务器的标识，以供所述客户端通过所述目标抓取服务器的标识对应的所述目标抓取服务器访问所述目标网站。

可选地，如上所述的方法中，所述至少一个抓取服务器分别对应不同的网络服务提供商。

可选地，如上所述的方法中，从至少一个抓取服务器中获取访问所述目标网站的标识对应的目标网站的有效网速最快的抓取服务器作为目标抓取服务器之前，还包括：