[发明专利]一种基于社交网络的数据采集与分析方法

说明书

本发明公开了一种基于社交网络的数据采集与分析方法，包括以下步骤：（1）以数据采集模块采用Python中的Scrapy框架，构建微博爬虫系统，使用分布式爬虫算法获取微博社交网络中用户数据；（2）数据存储模块将用户数据保存到JSON格式和NoSQL类型的MongoDB数据库中；（3）数据处理模块对用户原创内容的进行语义分析，进行用户的主题提取，对大量用户数据进行多维度挖掘分析、判别利用；（4）数据分析模块研究实现缺失属性信息推断算法，获取较全面的用户信息，实现社交网络用户画像。本发明通过大数据挖掘，获取有价值的信息，降低了大数据分析的成本。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于社交网络的数据采集与分析方法。

背景技术

随着Web2.0网络应用与移动终端设备的发展，社交网络的普及率与使用率日益提高。相比传统网络应用形式，社交网络具有用户主体性强、网络特征多样、数据内容丰富、群体交互密切、信息传播迅速等特点。中国互联网用户数量已经跃居全球首位，互联网用户在社交网站或者各大门户网站平台每天产生大量的网络行为数据。特别是微信、微博、手环等即时通讯、自媒体工具以及个人状态感应设备的使用，更使得每个用户随时都可以产生数据，整个社会深度跨入“社交网络大数据”时代。信息技术的迅速发展，大幅度的提高了科研人员的计算能力，各类型的硬件存储设备也不断升级，逐步满足数据的存储要求。在软件层面，算法、架构和编程语言也层出不穷。软硬件技术的发展，更给大数据挖掘提供了可能。

对社交网络大数据进行挖掘，能获得反映真实世界及其中的人的各种宝贵信息。但同时，社会媒体中的数据也存在多源异构、个体间关系繁杂、信息传播突发等特点，给社会媒体分析提出了技术上的挑战。分析社交网络的结构规律、挖掘用户行为的特定模式、探索网络信息传播的内在机理、研究高效的社交网络分析与网络信息传播预测方法，有利于提升对在线社会媒体的科学认知水平和有效利用能力，所以通过数据挖掘方法获取社交网络中的大量其它有价值的信息，已成为非常值得研究的问题。

由于近年来深度学习的流行，而深度学习又需要数据去训练，因此对数据的采集需求又进一步加强。而当前传统系统和方法都不具备大数据分析处理能力，并且数据采集一直存在成本偏高和花费时间长的缺陷。传统数据挖掘技术采用可构建预测模型的算法，包括线性回归，决策树学习器，贝叶斯分类器和支持向量机等，但此类算法依然有待继续改善。

发明内容

针对现有技术的不足，本发明所解决的技术问题是如何低成本地从大规模社交网络中进行用户的主题提取，获取较全面的用户信息，实现社交网络用户画像。

为解决上述技术问题，本发明采用的技术方案是一种基于社交网络的数据采集与分析方法，包括以下步骤：

（1）以数据采集模块采用Python中的Scrapy框架，构建微博爬虫系统，使用分布式爬虫算法获取微博社交网络中用户账号信息、用户原创内容以及用户社交关系数据；

所述分布式爬虫算法，具体应用过程如下：

1）使用Python中的Scrapy框架，构建微博爬虫系统；

2）爬取用户微博账号，以user_id表示其字段类别，下载微博主页页面地址对应的网页文件，在回调函数中完成数据解析和判别；

3）账号自动登录，通过从数据库获取事先准备的多个微博账号和密码，使用Selenium+Phantomjs模拟登录微博平台，进行系统登录；

4）验证码的自动识别与验证，在登录过程中，获取验证码图片后，调用云打码平台提供的接口，提供验证码，接收云打码返回的验证码字符串，再在Phantomjs中模拟登录；登录过程中建立cookie池，通过爬虫框架中间件请求设计好的基于flask框架的接口，随机从数据库中返回JSON格式的新cookie，提供给Scrapy使用，来解决更换cookie的问题；