[发明专利]获取数据资源的方法和装置

权利要求书

1.一种获取数据资源的方法，其特征在于，包括：

通过网络爬虫触发对数据资源更新系统的可扩展超文本传输请求，所述网络爬虫通过模拟目标方式获取所述数据资源更新系统的数据，所述目标方式为浏览器通过超文本传输协议HTTP获取所述数据资源更新系统的数据的方式，其中，所述数据资源更新系统为用于提供数据资源下载服务的网站系统；

将所述网络爬虫的可扩展超文本传输对象下的所有方法和所有属性保存到全局对象中，以备份所述网络爬虫的可扩展超文本传输对象下的所有方法和所有属性；

创建保存在所述全局对象中的所述可扩展超文本传输对象对应的可扩展超文本传输实例，遍历所述可扩展超文本传输实例的所有属性和所有方法，为所述可扩展超文本传输实例的各个方法生成其对应的代理方法，为所述可扩展超文本传输实例的各个属性生成其对应的代理属性，以得到所述可扩展超文本传输对象对应的可扩展超文本传输对象代理；

通过所述可扩展超文本传输对象代理截取所述可扩展超文本传输请求以及所述可扩展超文本传输请求对应的返回数据，以获取所述可扩展超文本传输请求对应的交互流量数据，所述交互流量数据包括所述可扩展超文本传输请求和所述返回数据，所述返回数据包括网页数据；

从所述交互流量数据中获取与第一下载目的对应的流量数据保存到本地。

2.根据权利要求1所述的方法，其特征在于，所述从所述交互流量数据中获取与第一下载目的对应的流量数据保存到本地包括：

对所述交互流量数据进行分类，以确定所述交互数据流量中的各个流量数据所属的数据资源类别；

根据数据资源类别与下载目的的关联关系确定与所述第一下载目的对应的第一数据资源类别；

将所述交互流量数据中属于所述第一数据资源类别的流量数据保存到本地。

3.根据权利要求2所述的方法，其特征在于，所述对所述交互流量数据进行分类包括：

根据所述交互流量数据的格式对所述交互流量数据进行分类。

4.根据权利要求2所述的方法，其特征在于，所述对所述交互流量数据进行分类包括：

将所述交互流量数据作为预设的流量数据分类模型的输入对所述交互流量数据进行分类。

5.根据权利要求4所述的方法，其特征在于，所述对所述交互流量数据进行分类之前还包括：

确定多个流量数据以及所述多个流量数据所属的数据资源类别；

将所述多个流量数据以及所述多个流量数据所属的数据资源类别作为训练样本，基于分类算法对流量数据分类模型进行训练得到最逼近所述训练样本的流量数据分类模型；

将所述最逼近所述训练样本的流量数据分类模型确定为所述预设的流量数据分类模型。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述通过网络爬虫触发对数据资源更新系统的可扩展超文本传输请求包括：

在本地创建所述网络爬虫的可扩展超文本传输对象，并为所述可扩展超文本传输对象注册回调方法；

设置与所述数据资源更新系统对应的后台服务器交互的参数和向所述后台服务器发送的流量数据；

启动与所述后台服务器的通信交互。