[发明专利]一种微博信息抓取方法及装置

说明书

技术领域

本发明涉及网络技术领域，具体涉及一种微博信息抓取方法及装置。

背景技术

随着微博的日趋普及，微博用户量也在不断的稳步上升，每天数以千万计的用户发布的微博所包含的信息量是不可小觑的。为了从用户发布的众多微博中提取出新闻热点，或者根据用户发布的微博分析用户的兴趣，进行微博营销，就需要及时全面的抓取用户所发布的微博信息。

目前的信息抓取过程主要是调用微博平台API来实现，但是出于对微博平台的维护成本以及信息保留等方面的考虑，各大微博平台对信息抓取的次数以及频率都有所限制，即抓取资源有限。如何利用这有限的抓取资源快速获取到更多的有效微博信息，在实际应用中具有重要意义。

发明内容

本发明实施例的微博信息抓取方法及装置，实现了利用有限的抓取资源获取尽量多的有效微博信息的目的。

为此，本发明实施例提供如下技术方案：

一种微博信息抓取方法，所述方法包括：

获取待抓取微博用户，并判断所述待抓取微博用户的类型；

如果所述待抓取微博用户为活跃用户，则计算该待抓取微博用户的抓取周期，并根据所述抓取周期预测抓取时间点进行微博信息抓取；

如果所述待抓取微博用户为非活跃用户，则获取该待抓取微博用户的抓取状态以及剩余抓取用户量，如果所述抓取状态表示能进行微博信息抓取，且所述剩余抓取用户量不为零，则对所述待抓取微博用户进行微博信息抓取。

优选的，所述获取待抓取微博用户，包括：

选取至少一个认证用户作为种子用户，并将所述种子用户作为未处理用户添加到用户列表；

判断所述未处理用户是否具有下级用户：

如果具有，则获取该未处理用户的下级用户，并将所述下级用户添加到所述用户列表，设置所述未处理用户的状态为已处理；将所述下级用户作为未处理用户，继续执行所述判断未处理用户是否具有下级用户的步骤；

如果不具有，则设置该未处理用户的状态为已处理。

优选的，所述获取该未处理用户的下级用户，包括：

通过所述未处理用户的用户关系网获取所述下级用户；或者，

抓取评论和/或转发所述未处理用户发布的微博的用户作为所述下级用户。

优选的，所述判断所述待抓取微博用户的类型，包括：

根据所述待抓取微博用户发布微博的频率确定用户活跃度；

根据预设活跃值与所述用户活跃度判断所述待抓取微博用户的类型，如果所述用户活跃度不小于所述预设活跃值，则判定所述待抓取微博用户为活跃用户；否则判定所述待抓取微博用户为非活跃用户。

优选的，所述根据所述待抓取微博用户发布微博的频率确定用户活跃度，包括：

根据所述待抓取微博用户发布的微博计算用户的平均发帖间隔；

从预设数据库中查找与所述平均发帖间隔相对应的活跃度。

一种微博信息抓取装置，所述装置包括：

第一获取单元，用于获取待抓取微博用户；

第一判断单元，用于判断所述第一获取单元获取的待抓取微博用户的类型；

计算单元，用于在所述第一判断单元判定所述待抓取微博用户为活跃用户时，计算该待抓取微博用户的抓取周期；

抓取单元，用于根据所述抓取周期预测抓取时间点进行微博信息抓取；

第二获取单元，用户在所述第一判断单元判定所述待抓取微博用户为非活跃用户时，获取该待抓取微博用户的抓取状态以及剩余抓取用户量；

所述抓取单元，还用于在所述抓取状态表示能进行微博信息抓取，且所述剩余抓取用户量不为零时，对所述待抓取微博用户进行微博信息抓取。

优选的，所述第一获取单元包括：

选取单元，用于选取至少一个认证用户作为种子用户，并将所述种子用户作为未处理用户添加到用户列表；

第二判断单元，用于判断所述未处理用户是否具有下级用户：

第三获取单元，用于在所述第二判断单元判定所述未处理用户具有下级用户时，获取该未处理用户的下级用户，

添加单元，用于将所述下级用户添加到所述用户列表，设置所述未处理用户的状态为已处理；将所述下级用户作为未处理用户，通知所述第二判断单元继续判断未处理用户是否具有下级用户；

设置单元，用于在所述第二判断单元判定所述未处理用户不具有下级用户时，则设置该未处理用户的状态为已处理。

优选的，所述第三获取单元，具体用于通过所述未处理用户的用户关系网获取所述下级用户；或者，