[发明专利]论坛目录页内容爬取方法和装置

权利要求书

1.一种论坛目录页内容爬取方法，其特征在于，包括：

爬取论坛目录页的第一爬取页面中的文章，得到爬取结果，其中，所述论坛目录页中的文章按照发表时间排序；

从所述爬取结果中获取所述第一爬取页面中的最后一篇文章的发表时间；

判断所述发表时间是否晚于预设时间；

在判断出所述发表时间晚于所述预设时间时，跳转至所述论坛目录页的第二爬取页面，并爬取所述第二爬取页面中的文章，其中，所述第二爬取页面位于所述第一爬取页面之后；以及

在判断出所述发表时间不晚于所述预设时间时，停止爬取所述论坛目录页中的文章。

2.根据权利要求1所述的方法，其特征在于，从所述爬取结果中获取所述第一爬取页面中最后一篇文章的发表时间包括：

从所述爬取结果中获取所述第一爬取页面中最后一篇文章对应的内容；以及

通过预设算法从所述最后一篇文章对应的内容中解析出所述发表时间。

3.根据权利要求1所述的方法，其特征在于，在判断出所述发表时间晚于所述预设时间时，跳转至所述论坛目录页的第二爬取页面，并爬取所述第二爬取页面中的文章包括：

从所述第一爬取页面中获取所述第二爬取页面的链接；

根据所述第二爬取页面的链接跳转至所述第二爬取页面；以及

爬取所述第二爬取页面中的文章。

4.根据权利要求1所述的方法，其特征在于，在爬取论坛目录页的第一爬取页面中的文章，得到爬取结果之前，所述方法还包括：

获取预设排序规则，其中，所述预设排序规则用于使所述论坛目录页的内容按照发表时间排序；以及

根据所述预设排序规则将所述论坛目录页中的文章按照发表时间排序。

5.根据权利要求4所述的方法，其特征在于，根据所述预设排序规则将所述论坛目录页中的文章按照发表时间排序包括：

获取所述论坛目录页的链接；以及

根据所述论坛目录页的链接按照所述预设排序规则构建爬取请求，其中，根据所述爬取请求从服务器获取到的论坛目录页中的文章按照发表时间排序。

6.一种论坛目录页内容爬取装置，其特征在于，包括：

第一爬取单元，用于爬取论坛目录页的第一爬取页面中的文章，得到爬取结果，其中，所述论坛目录页中的文章按照发表时间排序；

第一获取单元，用于从所述爬取结果中获取所述第一爬取页面中的最后一篇文章的发表时间；

判断单元，用于判断所述发表时间是否晚于预设时间；以及

第二爬取单元，用于在判断出所述发表时间晚于所述预设时间时，跳转至所述论坛目录页的第二爬取页面，并爬取所述第二爬取页面中的文章，其中，所述第二爬取页面位于所述第一爬取页面之后，在判断出所述发表时间不晚于所述预设时间时，停止爬取所述论坛目录页中的文章。

7.根据权利要求6所述的装置，其特征在于，所述第一获取单元包括：

第一获取模块，用于从所述爬取结果中获取所述第一爬取页面的最后一篇文章对应的内容；以及

解析模块，用于通过预设算法从所述最后一篇文章对应的内容中解析出所述发表时间。

8.根据权利要求6所述的装置，其特征在于，所述第二爬取单元包括：

第二获取模块，用于从所述第一爬取页面中获取所述第二爬取页面的链接；

调整模块，用于根据所述第二爬取页面的链接跳转至所述第二爬取页面；以及

爬取模块，用于爬取所述第二爬取页面中的文章。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第二获取单元，用于获取预设排序规则，其中，所述预设排序规则用于使所述论坛目录页的内容按照发表时间排序；以及

排序单元，用于根据所述预设排序规则将所述论坛目录页中的文章按照发表时间排序。

10.根据权利要求9所述的装置，其特征在于，所述排序单元包括：

第三获取模块，用于获取所述论坛目录页的链接；以及

构建模块，用于根据所述论坛目录页的链接按照所述预设排序规则构建爬取请求，其中，根据所述爬取请求从服务器获取到的论坛目录页中的文章按照发表时间排序。