[发明专利]获取数据资源的方法和装置

说明书

本发明公开获取数据资源的方法和装置，其中，方法包括：通过网络爬虫触发对数据资源更新系统的可扩展超文本传输请求，所述网络爬虫通过模拟目标方式获取所述数据资源更新系统的数据，所述目标方式为浏览器通过超文本传输协议HTTP协议获取所述数据资源更新系统的数据的方式；截取所述可扩展超文本传输请求以及所述可扩展超文本传输请求对应的返回数据，以获取所述可扩展超文本传输请求对应的交互流量数据，所述交互流量数据包括所述可扩展超文本传输请求和所述返回数据；从所述交互流量数据中获取与第一下载目的对应的流量数据保存到本地。本发明的技术方案可实现对流量数据的批量下载。

技术领域

本发明涉及计算机技术领域，尤其涉及获取数据资源的方法和装置。

背景技术

随着互联网的发展，用户可以通过互联网进行购物、浏览视频、浏览小说、浏览图片等。互联网中有各种各样的信息和资源可以供人们浏览，用户也可以从互联网上下载图片、文档、视频等。其中，用户可以通过浏览器浏览各种资源，当用户浏览到某些有用或感兴趣的资源时，用户可以在浏览器上对这些资源进行下载。

目前，有一些网站为网站上的部分资源提供了批量下载的功能，但是不是对所有的资源都提供了批量下载的功能，对于这些无法批量下载的资源，如果用户想要下载全部的资源，则需要依次点选这些资源从而实现全部下载，过程较麻烦。

发明内容

本发明实施例提供获取数据资源的方法和装置，解决批量下载数据的过程比较麻烦的问题。

第一方面，提供一种获取数据资源的方法，包括：

通过网络爬虫触发对数据资源更新系统的可扩展超文本传输请求(extensiblemarkup language hyper text transfer protocol request，XMLHttpRequest)，所述网络爬虫通过模拟目标方式获取所述数据资源更新系统的数据，所述目标方式为浏览器通过超文本传输协议(hyper text transfer protocol，HTTP)请求获取所述数据资源更新系统的数据的方式；

截取所述可扩展超文本传输请求以及所述可扩展超文本传输请求对应的返回数据，以获取所述可扩展超文本传输请求对应的交互流量数据，所述交互流量数据包括所述可扩展超文本传输请求和所述返回数据；

从所述交互流量数据中获取与第一下载目的对应的流量数据保存到本地。

本发明实施例中，网络爬虫以模拟浏览器的方式获取数据资源更新系统的数据，网络爬虫可以获取数据资源更新系统中的所有的网页数据，网络爬虫的XMLHttpRequest对象提供了对超文本传输(hyper text transfer protocol，HTTP)协议的完全访问，包括向服务器发出post请求、head请求以及get请求的能力，通过截取XMLHttpRequest请求以及XMLHttpRequest请求对应的返回数据可以获取到网络爬虫爬取数据资源更新系统的过程中爬取到的所有流量数据，即获取到浏览器可以加载的该数据资源更新系统的所有网页数据，然后根据下载目的从交互流量数据中获取与下载目的对应的流量数据，由于获取到的是浏览器可以加载的该数据资源更新系统的所有网页数据，因此，可实现对流量数据的批量下载。

结合第一方面，在一种可能的实现方式中，所述从所述交互流量数据中获取与第一下载目的对应的流量数据保存到本地包括：对所述交互流量数据进行分类，以确定所述交互数据流量中的各个流量数据所属的数据资源类别；根据数据资源类别与下载目的的关联关系确定与所述第一下载目的对应的第一数据资源类别；将所述交互流量数据中属于所述第一数据资源类别的流量数据保存到本地。通过对交互流量数据进行分类可以确定交互流量数据中的各个流量数据所属的数据资源类别，从而可以将属于与下载目的对应的数据资源类别的交互流量数据保存到本地。