[发明专利]论坛目录页内容爬取方法和装置

摘要

本申请公开了一种论坛目录页内容爬取方法和装置。其中，该方法包括爬取论坛目录页的第一爬取页面中的文章，得到爬取结果，其中，论坛目录页中的文章按照发表时间排序；从爬取结果中获取第一爬取页面中的最后一篇文章的发表时间；判断发表时间是否晚于预设时间；在判断出发表时间晚于预设时间时，跳转至论坛目录页的第二爬取页面，并爬取第二爬取页面中的文章，其中，第二爬取页面位于第一爬取页面之后；以及在判断出发表时间不晚于预设时间时，停止爬取论坛目录页中的文章。本申请解决了相关技术中通过翻页爬取论坛目录页面内容时，在发帖量较大时最大翻页数不够造成数据丢失，在发帖量较少时爬取最大翻页数的页面浪费网络资源的技术问题。

主权项

一种论坛目录页内容爬取方法，其特征在于，包括：爬取论坛目录页的第一爬取页面中的文章，得到爬取结果，其中，所述论坛目录页中的文章按照发表时间排序；从所述爬取结果中获取所述第一爬取页面中的最后一篇文章的发表时间；判断所述发表时间是否晚于预设时间；在判断出所述发表时间晚于所述预设时间时，跳转至所述论坛目录页的第二爬取页面，并爬取所述第二爬取页面中的文章，其中，所述第二爬取页面位于所述第一爬取页面之后；以及在判断出所述发表时间不晚于所述预设时间时，停止爬取所述论坛目录页中的文章。