[发明专利]小说网页抓取方法和装置

权利要求书

1.一种小说网页抓取方法，其特征在于，所述方法包括：

根据配置规则区分小说网页，所述小说网页包括封面页、列表页和更新页；

配置第一抓取频率抓取更新页的前设定数量的页面；

配置第二抓取频率抓取所述更新页的前设定数量的页面以外的页面及列表页；

配置第三抓取频率抓取封面页；

根据所述抓取频率对相应的小说网页进行抓取；

其中，所述封面页，是指小说的封面所在的网页；所述列表页，是指网站中的所有小说的列表所在的网页；所述更新页，是指网站中最近一段时间更新的小说的列表页；所述第一抓取频率大于所述第二抓取频率，所述第二抓取频率大于所述第三抓取频率。

2.根据权利要求1所述的方法，其特征在于，所述小说网页还包括目录页；

在根据所述抓取频率对相应的小说网页进行抓取之前，还包括：

根据网站的历史数据及所述网站中小说的历史数据，计算网站中的小说的目录页的抓取频率。

3.根据权利要求2所述的方法，其特征在于，根据网站的历史数据及所述网站中小说的历史数据，计算网站中的小说的目录页的抓取频率包括：

根据网站的历史数据，计算网站每天的抓取配额；

根据所述抓取配额及所述网站中小说的历史数据，计算所述小说的目录页的抓取频率。

4.根据权利要求3所述的方法，其特征在于，根据网站的历史数据，计算网站每天的抓取配额包括：

根据网站的历史数据，对所述网站进行排名；

根据所述排名，计算所述网站的权重；

根据所述权重，计算所述网站每天的抓取配额。

5.根据权利要求3所述的方法，其特征在于，根据所述抓取配额及所述网站中小说的历史数据，计算所述小说的目录页的抓取频率包括：

根据所述网站中小说的历史数据，将所述小说分为热门小说和非热门小说；

按照设定比例将所述抓取配额分配给所述热门小说和非热门小说；

根据分配后的抓取配额，计算所述热门小说和非热门小说的目录页的抓取频率。

6.根据权利要求1-5任一所述的方法，其特征在于，根据所述抓取频率对相应的小说网页进行抓取包括：

将所述抓取频率与预设频率进行比较；

当所述抓取频率超过预设频率时，以所述预设频率对相应的小说网页进行抓取。

7.一种小说网页抓取装置，其特征在于，所述装置包括：

小说网页区分模块，用于根据配置规则区分小说网页，所述小说网页包括封面页、列表页和更新页；

抓取频率配置模块，用于配置第一抓取频率抓取更新页的前设定数量的页面，配置第二抓取频率抓取所述更新页的前设定数量的页面以外的页面及列表页，配置第三抓取频率抓取封面页；

小说网页抓取模块，用于根据所述抓取频率对相应的小说网页进行抓取；

其中，所述封面页，是指小说的封面所在的网页；所述列表页，是指网站中的所有小说的列表所在的网页；所述更新页，是指网站中最近一段时间更新的小说的列表页；所述第一抓取频率大于所述第二抓取频率，所述第二抓取频率大于所述第三抓取频率。

8.根据权利要求7所述的装置，其特征在于，所述小说网页还包括目录页；

所述装置还包括：

抓取频率计算模块，用于在根据所述抓取频率对相应的小说网页进行抓取之前，根据网站的历史数据及所述网站中小说的历史数据，计算网站中的小说的目录页的抓取频率。

9.根据权利要求8所述的装置，其特征在于，所述抓取频率计算模块包括：

抓取配额计算单元，用于根据网站的历史数据，计算网站每天的抓取配额；

抓取频率计算单元，用于根据所述抓取配额及所述网站中小说的历史数据，计算所述小说的目录页的抓取频率。