[发明专利]一种基于社交网络的数据采集与分析方法

权利要求书

1.一种基于社交网络的数据采集与分析方法，其特征在于，包括以下步骤：

（1）以数据采集模块采用Python中的Scrapy框架，构建微博爬虫系统，使用分布式爬虫算法获取微博社交网络中用户账号信息、用户原创内容以及用户社交关系数据；

（2）数据存储模块将网络爬取的用户数据保存到JSON格式和NoSQL类型的MongoDB数据库中；

（3）数据处理模块基于自然语言处理技术，对用户原创内容的进行语义分析，设计短文本主题提取算法，进行用户的主题提取，从时间序列、地域等角度对大量用户数据进行多维度挖掘分析，实现社交网络用户大数据的判别利用；

（4）最后数据分析模块研究实现缺失属性信息推断算法，获取较全面的用户信息，实现社交网络用户画像。

2.根据权利要求1所述的基于社交网络的数据采集与分析方法，其特征在于，步骤（1）中，所述分布式爬虫算法，具体应用过程如下：

1）使用Python中的Scrapy框架，构建微博爬虫系统；

2）爬取用户微博账号，以user_id表示其字段类别，下载微博主页页面地址对应的网页文件，在回调函数中完成数据解析和判别；

3）账号自动登录，通过从数据库获取事先准备的多个微博账号和密码，使用Selenium+Phantomjs模拟登录微博平台，进行系统登录；

4）验证码的自动识别与验证，在登录过程中，获取验证码图片后，调用云打码平台提供的接口，提供验证码，接收云打码返回的验证码字符串，再在Phantomjs中模拟登录；登录过程中建立cookie池，通过爬虫框架中间件请求设计好的基于flask框架的接口，随机从数据库中返回JSON格式的新cookie，提供给Scrapy使用，来解决更换cookie的问题；

5）进行查重处理，在解析用户数据过程并进行存储的过程中，进行查重处理，即在分词之前，对文本进行一些预处理，解析每一个HTML格式的网页，提取用户个人及其所发表的关键文本信息，通过MD5算法进行文本的哈希运算进行文本信息的重复性判断和去重处理。

3.根据权利要求1所述的基于社交网络的数据采集与分析方法，其特征在于，步骤（1）中，所述用户账号信息具体包括微博用户的性别、年龄、学历、地域、教育背景、工作经历、婚姻状态。

4.根据权利要求1所述的基于社交网络的数据采集与分析方法，其特征在于，步骤（3）具体过程如下：

1）对存储的数据进行数据清理；

2）使用隐式狄利克雷分布算法作为主题提取算法，将分词之后单个用户的微博数据合并，使用隐式狄利克雷分布算法进行主题提取训练；

3）针对合适时间粒度的微博进行主题提取，实现对微博文本数据进行主题提取和分类。

5.根据权利要求1所述的基于社交网络的数据采集与分析方法，其特征在于，步骤（4）具体过程如下：

对文本多样性及社交媒体结构复杂性问题，采用多源融合、多特征融合及机器学习分类功能为一体的算法，利用训练得到的模型和用户的已知特征，预测用户的未知特征，最终实现用户缺失的属性信息的推断。