[发明专利]一种基于网络爬虫和新浪API相结合的微博数据的采集方法

权利要求书

1.一种基于网络爬虫和新浪API相结合的微博数据的采集方法，其特征在于，包括以下步骤：

Step1：基于新浪API从微博名人榜获取种子用户及其对应的粉丝用户和关注用户，加入到种子列表；

Step2：将种子列表转换为种子URL，并判断种子用户列表是否为空，若为空则进入Step4，否则进入Step3；

Step3：遍历种子列表，采用网络爬虫的方法，爬取种子用户的相关微博信息、微博评论信息和用户个人信息，并将微博评论用户加入到种子列表中；

Step4：结束。

2.根据权利要求1所述的基于网络爬虫和新浪API相结合的微博数据的采集方法，其特征在于：所述Step3包括：

获取种子列表中待爬取URL，并进行URL解析与信息获取，具体包括：获取用户信息URL并进入相应页面爬取用户粉丝用户和关注用户以及爬取用户的其他相关信息；获取用户微博URL并进入相应页面爬取微博转发点赞、评论用户、爬取微博评论文本以及爬取微博其他相关信息；并将爬取的用户粉丝用户和关注用户、用户的其他相关信息、微博转发点赞、评论用户、爬取微博评论文本以及爬取微博其他相关构建相应的微博数据资源库；同时将爬取的用户粉丝用户和关注用户、爬取的微博转发点赞、评论用户加入种子列表中。