[发明专利]网页资源的获取方法、装置及终端

权利要求书

1.一种网页资源的获取方法，其特征在于，所述方法包括：

获取至少一个历史网页地址，所述历史网页地址是指在历史周期内访问过的网页地址；

检测各个历史网页地址在历史周期内的访问总次数是否大于预设次数；

若所述历史网页地址在所述历史周期内的访问总次数大于所述预设次数，获取所述历史网页地址在所述历史周期内的第一次访问时间戳和最后一次访问时间戳；

计算所述第一次访问时间戳和所述最后一次访问时间戳之间的间隔时长；

根据所述历史网页地址在所述历史周期内的访问总次数和所述间隔时长，计算所述历史网页地址的访问频率；

若所述历史网页地址的访问频率大于预设频率，则选取所述历史网页地址作为常用网页地址；

下载所述常用网页地址对应的网页资源；

提取所述常用网页地址对应的网页资源中包含的目标网页地址；

下载第1轮提取的目标网页地址对应的网页资源；

提取所述第1轮提取的目标网页地址对应的网页资源中包含的目标网页地址；

下载第2轮提取的目标网页地址对应的网页资源，以此类推，直至已存储的网页资源的数据量大于预设数据量时停止下载；

存储预加载网页地址对应的网页资源，所述预加载网页地址包括所述常用网页地址和所述目标网页地址，其中，所述预加载网页地址对应的网页资源在满足停止下载条件时停止下载，所述停止下载条件包括网页资源的数据量大于预设数据量、爬取轮数大于预设轮数、所述目标网页地址的数量大于预设数量、终端剩余的存储容量小于预设容量中的至少一种；且所述预加载网页地址对应的资源更新时长为动态时长，且所述资源更新时长基于相邻两次下载的所述预加载网页地址的网页资源的变化情况确定，其中，当网页资源发生变化时，所述资源更新时长缩短，当网页资源未发生变化时，所述资源更新时长增长。

2.根据权利要求1所述的方法，其特征在于，所述存储预加载网页地址对应的网页资源之后，还包括：

对于每一个预加载网页地址，获取所述预加载网页地址对应的资源更新时长；

当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的资源更新时长时，重新下载所述预加载网页地址对应的网页资源；

采用重新下载的所述预加载网页地址对应的网页资源，对已存储的所述预加载网页地址对应的网页资源进行更新。

3.根据权利要求2所述的方法，其特征在于，所述获取所述预加载网页地址对应的资源更新时长，包括：

当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的第i次资源更新时长时，重新下载所述预加载网页地址对应的网页资源，其中，所述i的初始值为1，第1次资源更新时长为预先设定的值；

检测重新下载的所述预加载网页地址对应的网页资源相对于已存储的所述预加载网页地址对应的网页资源是否发生变化；

若未发生变化，则确定所述预加载网页地址对应的第i+1次资源更新时长，所述第i+1次资源更新时长大于所述第i次资源更新时长；令i＝i+1，并再次从所述当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的第i次资源更新时长时，重新下载所述预加载网页地址对应的网页资源的步骤开始执行，直至重新下载的所述预加载网页地址对应的网页资源相对于已存储的所述预加载网页地址对应的网页资源发生变化时，将第1次至第i-1次资源更新时长相加，得到所述预加载网页地址对应的资源更新时长；

若已发生变化，则确定所述预加载网页地址对应的第i+1次资源更新时长，所述第i+1次资源更新时长小于所述第i次资源更新时长；令i＝i+1，再次从所述当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的第i次资源更新时长时，重新下载所述预加载网页地址对应的网页资源的步骤开始执行，直至重新下载的所述预加载网页地址对应的网页资源相对于已存储的所述预加载网页地址对应的网页资源未发生变化时，将第i次资源更新时长确定为所述预加载网页地址对应的资源更新时长。