[发明专利]网站资源获取方法、系统、装置及计算机存储介质

权利要求书

1.一种网络资源获取方法，其特征在于，所述方法应用于网络资源获取系统；所述网络资源获取系统分别与内容分发网络的边缘节点和内容分发网络的源站存在通信连接；所述方法包括：

从所述网络资源获取系统已存储的第一网络资源中查找所述边缘节点请求访问的目标网络资源；所述第一网络资源是所述网络资源获取系统主动从所述源站中爬取到的；

获取一个或多个所述边缘节点的访问记录日志，其中，所述访问记录日志包括所述边缘节点每次向所述网络资源获取系统请求访问的目标网络资源的信息；

从获取到的一个或多个所述访问记录日志中识别出携带有缺失标记的目标网络资源作为待爬取的第二网络资源，所述缺失标记用于指示在所述第一网络资源中未查找到所述目标网络资源；

从所述源站中爬取所述第二网络资源；

将爬取到的所述第二网络资源存储至所述网络资源获取系统。

2.根据权利要求1所述的方法，其特征在于，所述获取一个或多个所述边缘节点的访问记录日志，包括：

按照预设的时间间隔定时获取所述边缘节点的访问记录日志；或者，

在所述边缘节点的访问记录日志的累计生成数量到达预设数量时，获取预设数量的所述边缘节点的访问记录日志。

3.根据权利要求1所述的方法，其特征在于，所述从获取到的一个或多个所述访问记录日志中识别出携带有缺失标记的目标网络资源作为待爬取的第二网络资源，包括：

对获取到的一个或多个所述访问记录日志中包括同一个所述目标网络资源的所述访问记录日志进行合并，以得到合并后的访问记录日志；

从所述合并后的访问记录日志中识别出携带有缺失标记的所述目标网络资源作为待爬取的第二网络资源。

4.根据权利要求1所述的方法，其特征在于，所述网络资源获取系统包括若干个爬虫工作节点；所述从所述源站中爬取所述第二网络资源，包括：

针对每一所述第二网络资源生成对应的爬取任务；

根据爬取任务生成针对各个所述爬虫工作节点的调度请求；调度请求用于请求爬虫工作节点执行爬取任务；

对相同的调度请求进行合并，以得到合并后的调度请求；其中，请求同一所述爬虫工作节点执行同一爬取任务的两个调度请求为相同的调度请求；

向若干个所述爬虫工作节点发送合并后的调度请求，以使所述爬虫工作节点按照接收到的调度请求执行爬取第二网络资源的爬取任务。

5.根据权利要求1所述的方法，其特征在于，在所述从所述网络资源获取系统已存储的第一网络资源中查找所述边缘节点请求访问的目标网络资源之前，所述方法还包括：

获取客户端对所述源站的访问频率；

若根据所述访问频率和预设规则确定出所述源站为目标站点，则对所述源站进行镜像爬取并存储爬取到的网络资源，以得到所述第一网络资源；

以及，所述方法还包括：

在所述源站异常时，若检测到所述边缘节点请求对所述源站进行访问，则执行从所述网络资源获取系统已存储的第一网络资源中查找所述边缘节点请求访问的目标网络资源的步骤，不再访问所述源站。

6.一种网络资源获取系统，其特征在于，所述网络资源获取系统分别与内容分发网络的边缘节点和内容分发网站的源站存在通信连接；所述网络资源获取系统包括：爬虫子系统、存储子系统和控制子系统；

所述存储子系统，用于存储所述爬虫子系统从所述源站中爬取到的第一网络资源；以及，从已存储的所述第一网络资源中查找所述边缘节点请求访问的目标网络资源；

所述控制子系统，用于获取一个或多个所述边缘节点的访问记录日志，其中，所述访问记录日志包括所述边缘节点每次向所述网络资源获取系统请求访问的目标网络资源的信息；以及，

从获取到的一个或多个所述访问记录日志中识别出携带有缺失标记的目标网络资源作为待爬取的第二网络资源，所述缺失标记用于指示在所述第一网络资源中未查找到所述目标网络资源；

所述爬虫子系统，还用于从源站中爬取所述控制子系统确定出的所述第二网络资源；

所述存储子系统，还用于存储所述爬虫子系统从源站中爬取到的所述第二网络资源。