[发明专利]过往微博数据收集与处理方法

说明书

技术领域

本发明涉及微博数据处理方法领域，具体是一种过往微博数据收集与处理方法。

背景技术

随着微博的兴起，这种包含了大量微观点并带有情感倾向的短文本迅速富集，微博文本分析成为热门研究方向。

在微博数据搜集过程中，大量的微博数据搜集策略通常采用爬虫抓取方法，该方法抓取速度快、效率高，但是抓取的数据噪音大，虽然减少了数据搜集的时间，但是却成倍的增加了获得精确数据的预处理时间；且爬虫不稳定，常常面临被新浪封禁的危险。少量微博数据一般采用新浪微博第三方API进行调用搜集，该方法搜集的数据噪音少、区域明显，但是包含了大量的推送广告，又额外增加了无用数据比例。

无论是爬虫方法还是传统的新浪第三方API调用，都无法大量获得指定域下的微博数据，特别是过往微博数据的处理，爬虫方法和新浪第三方API调用皆无法适用。

发明内容

本发明的目的是提供一种过往微博数据收集与处理方法，以解决现有技术中爬虫方法或第三方API调用无法大量获取过往微博数据的问题。

为了达到上述目的，本发明所采用的技术方案为：

过往微博数据收集与处理方法，其特征在于：包括以下步骤：

(1)、获取活跃微博用户ID：

调用微博第三方API接口获取微博广场上公开的微博数据，公开的微博数据为微博作者的用户信息字段，其中包括用户UID、用户所在城市ID信息；根据获取到的微博广场上公开的微博数据，提取出用户UID，去重后即为可用的活跃微博用户ID；

(2)、获取活跃微博用户微博数据：

将获取到的用户UID拆分为7个本地用户UID库，分别使用7个微博第三方API Token并行运行，提升单位时间内获取微博的数量；然后根据用户UID账号，调用微博第三方API应用接口获得对应账号下的所有微博数据文件，微博数据文件包括微博创建时间、微博信息内容、微博来源、微博作者的用户信息字段，微博数据文件保存为UTF-8格式的TXT文本文件，设微博数据文件为D；

(3)、微博数据处理：

根据相关热点事件，指定热点事件种子关键词，确定热点事件发生时间段；根据确定的热点事件时间段，从本地的微博数据文件D中提取指定事件时间段内的微博文本数据；微博文本数据包括微博创建时间、微博信息内容、用户昵称、用户所在地；提取后的微博精细内容文件本地保存为UTF-8格式的TXT文本文件，设微博精细内容文件为根据用户所在地，对微博精细内容文件再次提取拆分为文本文件D_all以及文本文件类其中文本文件D_all为该微博事件对应的全国微博数据，文本文件类为该微博热点事件对应的某城市微博数据，i≠0，为对应的城市代码；文本文件D_all以及文本文件类中微博数据包括微博创建时间、微博信息内容，根据确定的热点事件发生时间段，进一步将文本文件D_all与文本文件类拆分为该热点事件对应的全国微博数据单日数据集及该热点事件对应的某城市微博单日数据集其中t为日期号。

本发明改进了新浪第三方API，采用并行多用户调用方式增加数据搜集流量；采用多信息点覆盖搜集微博数据，以弥补微博接口获得数据精确度的不足，能够满足过往微博数据收集与处理的要求。

具体实施方式

过往微博数据收集与处理方法，过往微博数据是指用户在当前时间以前所发布的微博数据，其特点是数据固定，事后分析方便，包括以下步骤：

(1)、获取活跃微博用户ID：

调用微博第三方API接口获取微博广场上公开的微博数据，公开的微博数据为微博作者的用户信息字段，其中包括用户UID、用户所在城市ID信息；根据获取到的微博广场上公开的微博数据，提取出用户UID，去重后即为可用的活跃微博用户ID；

(2)、获取活跃微博用户微博数据：

将获取到的用户UID拆分为7个本地用户UID库，分别使用7个微博第三方API Token并行运行，提升单位时间内获取微博的数量；然后根据用户UID账号，调用微博第三方API应用接口获得对应账号下的所有微博数据文件，微博数据文件包括微博创建时间、微博信息内容、微博来源、微博作者的用户信息字段，微博数据文件保存为UTF-8格式的TXT文本文件，设微博数据文件为D；

(3)、微博数据处理：

根据相关热点事件，指定热点事件种子关键词，确定热点事件发生时间段；根据确定的热点事件时间段，从本地的微博数据文件D中提取指定事件时间段内的微博文本数据；微博文本数据包括微博创建时间、微博信息内容、用户昵称、用户所在地；提取后的微博精细内容文件本地保存为UTF-8格式的TXT文本文件，设微博精细内容文件为根据用户所在地，对微博精细内容文件再次提取拆分为文本文件D_all以及文本文件类其中文本文件D_all为该微博事件对应的全国微博数据，文本文件类为该微博热点事件对应的某城市微博数据，i≠0，为对应的城市代码；文本文件D_all以及文本文件类中微博数据包括微博创建时间、微博信息内容，根据确定的热点事件发生时间段，进一步将文本文件D_all与文本文件类拆分为该热点事件对应的全国微博数据单日数据集及该热点事件对应的某城市微博单日数据集其中t为日期号。