[发明专利]一种Web服务器防护方法、装置和网络设备

说明书

本申请提供一种Web服务器防护方法、装置和网络设备。本申请提供的Web服务器防护方法，包括：在接收到来自客户端的HTTP访问请求时，获取所述访问请求携带的统一资源定位符URL，并依据所述URL确定所述HTTP访问请求请求访问的目标服务器；从预先创建好的URL目录树中查找与所述目标服务器匹配的目标URL目录树；若查找到，则判断所述访问请求是否来自搜索引擎；若是，则将所述目标URL目录树发送给所述客户端，以使所述客户端通过所述目标URL目录树获取所述目标服务器的资源。本申请提供的Web服务器防护方法、装置和网络设备，可提高Web服务器的性能。

技术领域

本申请涉及通信技术领域，尤其涉及一种Web服务器防护方法、装置和网络设备。

背景技术

搜索引擎指自动从因特网搜集信息，经过一定整理以后，提供给用户进行查询的系统。其为了实现自动信息搜集功能，常通过“爬虫技术”自动爬取Web服务器(网站服务器)的资源，并将爬取的资源加入自身的数据库，进而通过该数据库向用户提供服务。

当众多搜索引擎通过“爬虫技术”爬取Web服务器的资源时，会对Web服务器的性能造成巨大的影响。因此，如何对Web服务器进行防护，以减轻Web服务器在面临搜索引擎的资源爬取时消耗的性能成为当前关注的重点。

发明内容

有鉴于此，本申请提供一种Web服务器防护方法、装置和网络设备，以减轻Web服务器在面临搜索引擎的资源爬取时消耗的性能，提高Web服务器的性能。

本申请第一方面提供一种Web服务器防护方法，所述方法应用于网络设备，所述方法包括：

在接收到来自客户端的HTTP访问请求时，获取所述访问请求携带的统一资源定位符URL，并依据所述URL确定所述HTTP访问请求请求访问的目标服务器；

从预先创建好的URL目录树中查找与所述目标服务器匹配的目标URL目录树；

若查找到，则判断所述访问请求是否来自搜索引擎；

若是，则将所述目标URL目录树发送给所述客户端，以使所述客户端通过所述目标URL目录树获取所述目标服务器的资源。

本申请第二方面提供一种Web服务器防护装置，所述方法应用于网络设备，所述方法包括：

在接收到来自客户端的HTTP访问请求时，获取所述访问请求携带的统一资源定位符URL，并依据所述URL确定所述HTTP访问请求请求访问的目标服务器；

从预先创建好的URL目录树中查找与所述目标服务器匹配的目标URL目录树；

若查找到，则判断所述访问请求是否来自搜索引擎；

若是，则将所述目标URL目录树发送给所述客户端，以使所述客户端通过所述目标URL目录树获取所述目标服务器的资源。

本申请第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请提供的任一Web服务器防护方法的步骤。

本申请第四方面提供一种网络设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请任一Web服务器防护方法的步骤。

本申请提供的Web服务器防护方法、装置和网络设备，在接收到来自客户端的HTTP访问请求时，通过确定所述访问请求携带的URL地址，并依据所述URL地址确定所述HTTP访问请求请求访问的目标服务器，进而从预先获取到的URL目录树中查找与所述目标服务器匹配的目标URL目录树，并在查找到时，在所述访问请求来自搜索引擎时，将所述目标URL目录树发送给所述客户端。这样，客户端便可基于接收到的URL目录树获取资源，避免了客户端通过爬虫技术来爬取网站服务器的资源时，对网站服务器造成的性能影响，可提高网站服务器的性能。

附图说明