[发明专利]一种获取特定话题微博中PCU关联数据的方法

摘要

本发明公开了一种从微博中获取PCU关联数据的方法，解决现有技术不能获取有关联的微博帖子、评论、发帖人的技术缺陷，该方法包括：(1)数据访问权限取得，通过分析登录页面HTML标签，自动填写身份验证信息，取得数据访问权限；(2)PCU关联数据页面下载，依据微博页面的HTML结构及标签语义，以PCU数据的逻辑关系为指导，自动有序下载含有PCU关联数据的页面；(3)PCU关联数据结构化解析与构建，融合帖子关系、用户好友关系、用户帖子关系构建一个异质网络，即PCU关联数据网络。本发明能够自动获取新浪微博中的PCU关联数据，并构建结构化的关联数据网络，为后续的社交网络挖掘提供良好的数据集。

主权项

1.一种获取微博中特定话题PCU关联数据的方法，其特征在于：以新浪微博中元素间的逻辑关联关系为指导，自动有序地获取由帖子内容、帖子评论以及发帖用户所形成的PCU关联数据，表示为异质网络：G＝(P,C,U,f,g,h)其中P、C与U分别代表帖子、帖子评论与发帖用户，f代表帖子与帖子评论的交互关系，g代表用户之间的好友关系，h代表用户和帖子、帖子评论之间的隶属关系；该方法包含：数据访问权限获取、PCU关联数据页面下载与PCU关联数据的解析与构建，具体的过程如下：Step1:数据访问权限获取：在新浪微博登录页面http://weibo.com/login.php，利用web自动化测试工具selenium对标签和自动定位并填写用户名和密码，触发提交按钮，完成身份认证，取得访问数据的权限；Step2：PCU关联数据页面下载：1)通过微博的查询接口获取特定话题的所有帖子链接urlp，存入帖子链接队列池Urlp，从中逐一取出帖子链接urlp并依据其下载帖子页面Sp，存入帖子页面库Pagesp中；2)从用户链接队列池Urlu、评论链接队列池Urlc、好友关系链接队列池Urlf中依次取出帖子的发帖用户主页链接urlu、评论链接urlc、好友关系链接urlf，启用三个线程分别下载用户页面Su、评论页面Sc和好友关系页面Sf，存入用户页面库Pagesu、评论页面库Pagesc及好友关系页面库Pagesf中；Step3：PCU关联数据的解析与构建：1)逐一从帖子页面库Pagesp中取出帖子页面Sp、从用户页面库Pagesu中取出用户页面Su、从评论页面库Pagesc中取出评论页面Sc、从好友关系页面库Pagesf中取出好友关系页面Sf，利用文档解析工具Beautifulsoup对Sp、Su、Sc和Sf进行分层定位解析，将所需标签值写入数据库，其中解析Sp得到的urlu、urlc和urlf，分别放入用户链接队列池Urlu、评论链接队列池Urlu和好友关系链接队列池Urlf；2)由帖子与评论之间的交互关系得到帖子关系网络f，由用户的关注与粉丝信息得到用户好友关系网络g，由用户与帖子、帖子评论之间的隶属关系得到用户帖子隶属关系网络h；最终得到异质网络G＝(P,C,U,f,g,h)。