[发明专利]一种获取特定话题微博中PCU关联数据的方法

权利要求书

1.一种获取微博中特定话题PCU关联数据的方法，其特征在于：以新浪微博中元素间的逻辑关联关系为指导，自动有序地获取由帖子内容、帖子评论以及发帖用户所形成的PCU关联数据，表示为异质网络：

G＝(P,C,U,f,g,h)

其中P、C与U分别代表帖子、帖子评论与发帖用户，f代表帖子与帖子评论的交互关系，g代表用户之间的好友关系，h代表用户和帖子、帖子评论之间的隶属关系；

该方法包含：数据访问权限获取、PCU关联数据页面下载与PCU关联数据的解析与构建，具体的过程如下：

Step1:数据访问权限获取：

在新浪微博登录页面http://weibo.com/login.php，利用web自动化测试工具selenium对标签<div class＝inp username>和<div class＝inp password>自动定位并填写用户名和密码，触发提交按钮<div class＝info_listlogin_btn>，完成身份认证，取得访问数据的权限；

Step2：PCU关联数据页面下载：

1)通过微博的查询接口获取特定话题的所有帖子链接url_p，存入帖子链接队列池Url_p，从中逐一取出帖子链接url_p并依据其下载帖子页面S_p，存入帖子页面库Pages_p中；

2)从用户链接队列池Url_u、评论链接队列池Url_c、好友关系链接队列池Url_f中依次取出帖子的发帖用户主页链接url_u、评论链接url_c、好友关系链接url_f，启用三个线程分别下载用户页面S_u、评论页面S_c和好友关系页面S_f，存入用户页面库Pages_u、评论页面库Pages_c及好友关系页面库Pages_f中；

Step3：PCU关联数据的解析与构建：

1)逐一从帖子页面库Pages_p中取出帖子页面S_p、从用户页面库Pages_u中取出用户页面S_u、从评论页面库Pages_c中取出评论页面S_c、从好友关系页面库Pages_f中取出好友关系页面S_f，利用文档解析工具Beautifulsoup对S_p、S_u、S_c和S_f进行分层定位解析，将所需标签值写入数据库，其中解析S_p得到的url_u、url_c和url_f，分别放入用户链接队列池Url_u、评论链接队列池Url_u和好友关系链接队列池Url_f；

2)由帖子与评论之间的交互关系得到帖子关系网络f，由用户的关注与粉丝信息得到用户好友关系网络g，由用户与帖子、帖子评论之间的隶属关系得到用户帖子隶属关系网络h；

最终得到异质网络G＝(P,C,U,f,g,h)。