[发明专利]网络资源获取方法及装置

权利要求书

1.一种网络资源获取方法，其特征在于，方法包括：

获取用户输入的起始页面地址，对起始页面进行页面请求，得到对应的起始页面源码信息；

根据用户选择的二级页面外部动态网络资源获取模式，对所述起始页面源码信息进行解析处理，提取二级页面地址集合；所述二级页面地址集合包含至少一个二级页面地址；启动代理服务，创建浏览器代理依次请求所述二级页面地址集合中的二级页面地址，加载对应的二级页面；利用代理服务的har参数获取页面请求中的信息实体；所述信息实体包含至少一个网络资源的下载地址；对所述信息实体进行筛选处理，确实目标网络资源的下载地址，保存至地址队列中；重复上述操作，直至遍历所述二级页面地址集合中全部的二级页面地址；

根据用户选择的二级页面网络资源获取模式，对起始页面源码信息进行解析处理，提取二级页面地址集合；针对所述二级页面地址集合中的任一二级页面地址，对该二级页面地址进行模拟页面请求，得到二级页面源码信息；解析所述二级页面源码信息，获取目标网络资源的下载地址，保存至地址队列中；

根据所述地址队列包含的目标网络资源的下载地址，下载对应的目标网络资源。

2.根据权利要求1所述的方法，其特征在于，在所述获取用户输入的起始页面地址，对起始页面进行页面请求，得到对应的起始页面源码信息之后，所述方法还包括：

根据用户输入的目标网络资源类型，对所述起始页面源码信息进行预分析处理，判断所述起始页面源码信息中是否包含与目标网络资源类型匹配的目标网络资源；

若是，则确定目标网络资源的获取模式为单页面网络资源获取模式。

3.根据权利要求2所述的方法，其特征在于，所述目标网络资源的获取模式为单页面网络资源获取模式；

所述方法还包括：

对所述起始页面源码信息进行解析处理，得到多个目标网络资源的下载地址，并保存至地址队列中。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从加载的二级页面地址中提取网络资源可视化名称。

5.根据权利要求1所述的方法，其特征在于，所述根据所述地址队列包含的目标网络资源的下载地址，下载对应的目标网络资源进一步包括：

建立网络资源下载异步线程；

依次获取地址队列中包含的目标网络资源的下载地址，由所述异步线程下载对应的目标网络资源。

6.根据权利要求5所述的方法，其特征在于，所述根据所述地址队列包含的目标网络资源的下载地址，下载对应的目标网络资源进一步包括：

判断当所述地址队列为空且所述异步线程等待时间超过预设超时阈值，则确定目标网络资源下载完成。

7.一种网络资源获取装置，其特征在于，装置包括：

获取模块，适于获取用户输入的起始页面地址，对起始页面进行页面请求，得到对应的起始页面源码信息；

提取模块，适于根据用户选择的二级页面外部动态网络资源获取模式，对所述起始页面源码信息进行解析处理，提取二级页面地址集合；所述二级页面地址集合包含至少一个二级页面地址；

地址解析模块，适于启动代理服务，创建浏览器代理依次请求所述二级页面地址集合中的二级页面地址，加载对应的二级页面；利用代理服务的har参数获取页面请求中的信息实体；所述信息实体包含至少一个网络资源的下载地址；对所述信息实体进行筛选处理，确实目标网络资源的下载地址，保存至地址队列中；重复上述操作，直至遍历所述二级页面地址集合中全部的二级页面地址；

二级页面解析模块，适于根据用户选择的二级页面网络资源获取模式，对起始页面源码信息进行解析处理，提取二级页面地址集合；针对二级页面地址集合中的任一二级页面地址，对该二级页面地址进行模拟页面请求，得到二级页面源码信息；解析二级页面源码信息，获取目标网络资源的下载地址，保存至地址队列中；

下载模块，适于根据所述地址队列包含的目标网络资源的下载地址，下载对应的目标网络资源。