[发明专利]基于社交关系网络的爬虫方法及装置

摘要

本发明涉及一种基于社交关系网络的爬虫方法，包括：步骤1)以用户之间的关联关系即社交关系网络作为采集时爬虫的链接；步骤2)基于上述爬虫的链接，通过访问应用程序编程接口API的方式采集社交关系网络中每一个用户发布的数据；步骤2)还包括增量爬取数据：基于上述爬虫的链接，通过访问应用程序编程接口API的方式，根据数据的发布时间采集社交关系网络中每一个用户最新发布或更新的数据。本发明还涉及一种基于社交关系网络的爬虫装置。通过本发明，能够基于用户之间的相互关注的关系，获取社交关系网络，在社交关系网络的基础上进行逐层的深入抓取，达到全量数据爬取，同时还解决了增量式网络爬虫爬行算法的复杂度和实现难度。