[发明专利]网站资源获取方法、系统、装置及计算机存储介质

说明书

网站资源获取方法、系统、装置及计算机存储介质，该方法应用于网络资源获取系统；网络资源获取系统分别与内容分发网络的边缘节点和源站存在通信连接；该方法包括：从网络资源获取系统已存储的第一网络资源中查找边缘节点请求访问的目标网络资源；第一网络资源是网络资源获取系统主动从源站中爬取到的；获取一个或多个未查找到的目标网络资源作为待爬取的第二网络资源；从源站中爬取第二网络资源；将爬取到的第二网络资源存储至网络资源获取系统，从而可以无需访问源站，网络资源获取系统为边缘节点提供网络资源，使得源站异常时边缘节点或者客户端都可以获取到网络资源，还可以对漏爬的连接进行补爬。

技术领域

本发明涉及互联网技术领域，具体涉及一种网站资源的获取方法、系统、装置及计算机存储介质。

背景技术

内容分发网络（Content Delivery Network，CDN）是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能子系统，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。

CDN的关键技术主要有内容存储和分发技术。其中，内容存储可以包括将源站中的资源缓存至CDN中的边缘节点，以使边缘节点直接响应客户端发送的访问请求。目前，CDN一般采用被动回源的方式进行缓存。即，当边缘节点中没有符合客户端要求的资源的时候，会回到源站中获取。然而，在实践中发现，当源站与边缘节点之间的通信存在问题时，被动回源的方式容易失效，边缘节点和源站无法获取到网络资源。

发明内容

本申请实施例公开了一种网络资源获取方法、系统、装置及计算机存储介质，能够减少无法获取到网络资源的情况发生。

本申请实施例第一方面公开一种网络资源获取方法，所述方法包括：所述方法应用于网络资源获取系统；所述网络资源获取系统分别与内容分发网络的边缘节点和内容分发网络的源站存在通信连接；所述方法包括：从所述网络资源获取系统已存储的第一网络资源中查找所述边缘节点请求访问的目标网络资源；所述第一网络资源是所述网络资源获取系统主动从所述源站中爬取到的；获取一个或多个未查找到的所述目标网络资源作为待爬取的第二网络资源；从所述源站中爬取所述第二网络资源；将爬取到的所述第二网络资源存储至所述网络资源获取系统。

本申请实施例公开一种网络资源获取系统，所述网络资源获取系统分别与内容分发网络的边缘节点和内容分发网站的源站存在通信连接；所述网络资源获取系统包括：爬虫子系统、存储子系统和控制子系统；所述存储子系统，用于存储所述爬虫子系统从所述源站中爬取到的第一网络资源；以及，从已存储的所述第一网络资源中查找所述边缘节点请求访问的目标网络资源；所述控制子系统，用于获取一个或多个未查找到的所述目标网络资源作为待爬取的第二网络资源；所述爬取子系统，还用于从源站中爬取所述控制子系统确定出的所述第二网络资源；所述存储子系统，还用于存储所述爬取子系统从源站中爬取到的所述第二网络资源。

本申请实施例公开一种网络资源获取装置，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的网络资源获取方法。

本申请实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时本申请实施例公开的网络资源获取方法。