[发明专利]基于Web代理的数据获取方法及装置

说明书

技术领域

本发明涉及网络技术领域，尤指一种基于网页(Web)代理的数据获取方法及装置。

背景技术

Web代理(Proxy Server)，又称在线代理，是通过在浏览器和Web应用服务器之间设置代理服务器来实现的，浏览器与代理服务器之间通过以太网进行交互，代理服务器与Web应用服务器之间通过内网交互，如图1所示是Web代理的网络架构图。浏览器不是直接从Web应用服务器获取数据，而通过代理服务器从Web应用服务器获取数据，该数据可以是超文本标记语言(Hyper Text Markup Language，HTML)数据和非HTML数据，下面以用户获取非HTML数据为例进行说明数据获取方法。

浏览器向代理服务器发送携带原始统一资源定位符(Uniform Resource Locator，URL)和引用(Referer)信息的访问请求；代理服务器接收到访问请求后，根据第一URL和Referer信息拼接得到代理URL，并向浏览器发送携带代理URL的访问响应；浏览器向代理服务器发送携带代理URL的访问请求；代理服务器根据代理URL得到内网URL，并向Web应用服务器发送携带内网URL的访问请求；Web应用服务器获取与内网URL对应的非HTML数据，并发送给代理服务器；代理服务器向浏览器发送携带与内网URL对应的非HTML数据。

上述数据获取方法中，代理服务器需要拼接出代理URL，并发送给浏览器，浏览器再将该代理URL发送给代理服务器，代理服务器根据代理URL得到内网URL，代理URL在代理服务器与浏览器之间的交互属于无效交互。上述数据获取方法中存在的无效交互，既延长了浏览器获取非HTML数据的时间，又增加了网络资源的消耗。

发明内容

本发明实施例提供一种基于Web代理的数据获取方法及装置，用以解决现有技术中存在的无效交互，既延长了浏览器获取非HTML数据的时间，又增加了网络资源的消耗的问题。

根据本发明实施例，提供一种基于Web代理的数据获取，应用在WEB代理服务器中，包括：

接收浏览器发送的携带原始统一资源定位符URL和引用Referer信息的访问请求；

根据所述原始URL和所述Referer信息确定第一内网URL；

向Web应用服务器发送携带所述第一内网URL的访问请求，以使所述Web应用服务器获取所述第一内网URL对应的第一数据、并发送携带所述第一数据的访问响应；

接收携带所述第一数据的方法响应后，确定所述第一数据的类型是否是超文本标记语言HTML数据；

若所述第一数据的类型是非HTML数据，则向所述浏览器发送携带所述第一数据的访问响应。

具体的，根据所述原始URL和所述Referer信息确定第一内网URL，具体包括：

从所述原始URL中获取统一资源标识符URI；

从所述Referer中获取所述Web应用服务器的名称、通信协议和端口信息；

根据所述通信协议、所述端口信息、所述Web应用服务器的名称和所述URI，拼接得到所述第一内网URL。

具体的，确定所述第一数据的类型是否是HTML数据，具体包括：

确定所述第一数据中是否包括HTML头部；

若所述第一数据中包括HTML头部，则确定所述第一数据的类型是HTML数据；若所述第一数据中不包括HTML头部，则确定所述第一数据的类型是非HTML数据。

可选的，还包括：

若所述第一数据的类型是HTML数据，则向所述浏览器发送携带所述Web应用服务器的名称、端口信息和通信协议的访问响应，以使所述浏览器根据所述Web应用服务器的名称、所述端口信息、所述通信协议和所述代理服务器的名称拼接得到代理URL、并发送携带所述代理URL的访问请求；

接收携带所述代理URL的访问请求后，根据所述代理URL确定第二内网URL；

向所述Web应用服务器发送携带所述第二内网URL的访问请求，以使所述Web应用服务器获取所述第二内网URL对应的第二数据，并发送携带所述第二数据的访问响应；

接收携带所述第二数据的访问响应后，按照设定规则改写所述第二数据；

向所述浏览器发送携带修改后的所述第二数据的访问响应。

具体的，按照设定规则改写所述第二数据，具体包括：

遍历所述第二数据；

确定所述第二数据中是否包括设定URL；

若所述第二数据中包括所述设定URL，则按照所述设定规则改写所述设定URL。