[发明专利]过往微博数据收集与处理方法

摘要

本发明公开了一种过往微博数据收集与处理方法，首先获取活跃微博用户ID，然后获取活跃微博用户微博数据，最后对微博数据进行处理。本发明改进了新浪第三方API，以弥补微博接口获得数据精确度的不足，能够满足过往微博数据收集与处理的要求。

主权项

过往微博数据收集与处理方法，其特征在于：可以获得指定过往时间点或时间段内的微博数据；包括以下步骤：(1)、获取活跃微博用户ID：调用微博第三方API接口获取微博广场上公开的微博数据，公开的微博数据为微博作者的用户信息字段，其中包括用户UID、用户所在城市ID的信息；根据获取到的微博广场上公开的微博数据，提取出用户UID，去重后即为可用的活跃微博用户ID；(2)、获取活跃微博用户微博数据：将获取到的用户UID拆分为7个本地用户UID库，分别使用7个微博第三方API Token并行运行，提升单位时间内获取微博的数量；然后根据用户UID账号，调用微博第三方API应用接口获得对应账号下的所有微博数据文件，微博数据文件包括微博创建时间、微博信息内容、微博来源、微博作者的用户信息字段，微博数据文件保存为UTF‑8格式的TXT文本文件，设微博数据文件为D；(3)、微博数据处理：根据相关热点事件，指定热点事件种子关键词，确定热点事件发生时间段；根据确定的热点事件时间段，从本地的微博数据文件D中提取指定事件时间段内的微博文本数据；微博文本数据包括微博创建时间、微博信息内容、用户昵称、用户所在地；提取后的微博精细内容文件本地保存为UTF‑8格式的TXT文本文件，设微博精细内容文件为根据用户所在地，对微博精细内容文件再次提取拆分为文本文件Dall以及文本文件类其中文本文件Dall为该热点事件对应的全国微博数据，文本文件类为该热点事件对应的某城市微博数据，i≠0，为对应的城市代码；文本文件Dall以及文本文件类中微博数据包括微博创建时间、微博信息内容，根据确定的热点事件发生时间段，进一步将文本文件Dall与文本文件类拆分为该热点事件对应的全国微博数据单日数据集及该热点事件对应的某城市微博单日数据集其中t为日期号。