[发明专利]小说网页抓取方法和装置

说明书

本发明公开了一种小说网页抓取方法和装置。该方法包括：根据配置规则区分小说网页，所述小说网页包括封面页、列表页和更新页；根据封面页、列表页和更新页的更新特点，配置封面页、列表页和更新页的抓取频率；根据所述抓取频率对相应的小说网页进行抓取。本发明由于分别以不同的抓取频率对封面页、列表页和更新页进行抓取，可以保证包括新小说在内的所有小说的时效性，进而提高了抓取的小说的时效性，吸引更多的用户。

技术领域

本发明实施例涉及网络技术，尤其涉及一种小说网页抓取方法和装置。

背景技术

随着信息与通信技术的迅速发展，手机等移动终端中的功能越来越多，小说应用也成为了移动终端中的一项必备应用。小说应用通过抓取全网小说网页并进行实时转码后展现给用户。

现有技术中，在抓取小说网页时是定期抓取热门小说的网页，而对非热门小说的抓取周期则比较长。热门小说的挖掘存在一定的滞后性，例如一本新小说在成为热门小说之前需要积攒一定的阅读量，在这个过程中无法挖掘出该小说属于热门小说，这就导致了这本新小说的时效性很差。因此，总体来说，现有技术存在着小说的时效性较差的缺陷。

发明内容

有鉴于此，本发明实施例提供一种小说网页抓取方法和装置，以提高抓取的小说的时效性。

第一方面，本发明实施例提供了一种小说网页抓取方法，所述方法包括：

根据配置规则区分小说网页，所述小说网页包括封面页、列表页和更新页；

根据封面页、列表页和更新页的更新特点，配置封面页、列表页和更新页的抓取频率；

根据所述抓取频率对相应的小说网页进行抓取。

第二方面，本发明实施例还提供了一种小说网页抓取装置，所述装置包括：

小说网页区分模块，用于根据配置规则区分小说网页，所述小说网页包括封面页、列表页和更新页；

抓取频率配置模块，用于根据封面页、列表页和更新页的更新特点，配置封面页、列表页和更新页的抓取频率；

小说网页抓取模块，用于根据所述抓取频率对相应的小说网页进行抓取。

本发明实施例的技术方案，由于分别以不同的抓取频率对封面页、列表页和更新页进行抓取，可以保证包括新小说在内的所有小说的时效性，进而提高了抓取的小说的时效性，吸引更多的用户。

附图说明

图1是本发明实施例一提供的一种小说网页抓取方法的流程图；

图2是本发明实施例二提供的一种小说网页抓取方法的流程图；

图3是本发明实施例三提供的一种小说网页抓取方法的流程图；

图4是本发明实施例四提供的一种小说网页抓取装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1是本发明实施例一提供的一种小说网页抓取方法的流程图，本实施例可适用于抓取小说网页时保证时效性的情况，该方法可以由服务器来执行，具体包括如下：