[发明专利]时效性种子页的抓取方法及装置

权利要求书

1.一种时效性种子页的抓取方法，其中，将一天划分为若干个平均的预设时间段，任一预设时间段和与其对应的历史预设时间段分属当日和前一日的同一时段，针对任一预设时间段，所述方法包括：

对于一时效性种子页，获取当前预设时间段内对所述种子页发起的每次抓取对应的频率调整因子，基于所述频率调整因子计算频率调整系数；

确定与所述当前预设时间段存在对应关系的历史预设时间段的抓取频率；

判断所述当前预设时间段是否属于节假日与工作日之间的切换时间，若是则根据节假日与工作日之间的切换情况确定节假日因子；

根据所述历史预设时间段的抓取频率、所述频率调整系数以及节假日因子，动态调整所述当前预设时间段的抓取频率；

其中，所述当前预设时间段内对所述种子页已经发起的抓取次数为n；所述获取当前预设时间段内对所述种子页发起的每次抓取对应的频率调整因子具体为：对于n次抓取中的任一次抓取，根据该次抓取之前一段预设时间内发现新链接的次数与发起抓取的次数的比率确定该次抓取对应的频率调整因子；所述基于所述频率调整因子计算频率调整系数具体为：计算n次抓取对应的频率调整因子的乘积作为所述频率调整系数；

基于所述动态调整后的所述当前预设时间段的抓取频率在所述当前预设时间段中对所述种子页进行抓取，其中，下一次抓取的时间点为当前抓取的时间点加上平均抓取时间间隔，而平均抓取时间间隔是根据当前预设时间段的总时长和动态调整后的所述当前预设时间段的抓取频率而确定的。

2.根据权利要求1所述的方法，所述判断所述当前预设时间段是否属于节假日与工作日之间的切换时间进一步包括：

若所述当前预设时间段属于工作日，而该工作日的前一日为节假日，则判定所述当前预设时间段属于节假日到工作日之间的切换时间；

若所述当前预设时间段属于节假日，而该节假日的前一日为工作日，则判定所述当前预设时间段属于工作日到节假日之间的切换时间。

3.根据权利要求1所述的方法，所述根据节假日与工作日之间的切换情况确定节假日因子进一步包括：

若所述当前预设时间段属于工作日，而该工作日的前一日为节假日，则确定节假日因子为大于1的第一预定值；

若所述当前预设时间段属于节假日，而该节假日的前一日为工作日，则确定节假日因子为小于1的第二预定值。

4.根据权利要求1所述的方法，所述根据节假日与工作日之间的切换情况确定节假日因子进一步包括：

通过在当前预设时间段之前若干次节假日与工作日之间切换时的抓取情况，动态调整所述节假日因子。

5.根据权利要求1-4中任一项所述的方法，所述根据所述历史预设时间段的抓取频率、所述频率调整系数以及节假日因子，动态调整所述当前预设时间段的抓取频率具体为：

将所述历史预设时间段的抓取频率、所述频率调整系数以及所述节假日因子的乘积作为动态调整后的所述当前预设时间段的抓取频率。

6.根据权利要求1-4中任一项所述的方法，所述方法还包括：如果所述历史预设时间段的抓取频率为无效值，则根据与所述历史预设时间段相邻的预设时间段的抓取频率、所述频率调整系数以及节假日因子，动态调整所述当前预设时间段的抓取频率。