[发明专利]一种大数据实时流数据计算方法

说明书

本发明提供了一种大数据实时流数据计算方法，所述计算方法包括以下步骤：开发网络爬虫应用采集社交网站的数据；采集到的数据存储在文件中，对这些采集到的数据进行预处理，并对处理后的数据进行融合，存储到数据库中；针对检索得到的数据，采用适当的方法进行数据的挖掘与计算；对数据计算的结果使用图、表、地图等进行可视化展示。本发明通过开发网络爬虫应用采集社交网站的数据，采集到的数据存储在文件中，并针对检索得到的数据，采用算法进行数据的挖掘与计算，最后对数据计算的结果使用图、表、地图等进行可视化展示，通过优化大数据的实时流采集步骤，从而提高数据的采集效率和稳定性。

技术领域

本发明涉及数据计算方法技术领域，尤其涉及一种大数据实时流数据计算方法。

背景技术

随着互联网技术的高速发展和人们生活水平的提高，越来越多的人参与到社交网络中，既可以发表对新闻时事、社会见闻的看法，又可以表达对生活琐事、消费购物的情感，由此产生了海量的社交网络数据，这些社交网络数据很大程度上反映了用户的兴趣、爱好、对事物的看法和感情倾向等等，高效地挖掘和计算这些社交网络数据在舆情监控、事件预测、市场调研、产品推荐等方面有着重要应用，由于社交网络数据具有重要的应用。

现有技术存在以下不足：数据采集是实现数据分析的基础，没有数据，数据挖掘与分析没有任何意义，而且数据量的大小和数据的质量将会在很大程度上影响数据分析结果的准确性，由于社交网络平台上拥有海量的非结构数据，现有大数据实时流的采集速度慢，稳定性差。

发明内容

本发明针对现有技术的不足，提供了一种大数据实时流数据计算方法。

本发明通过以下技术手段实现解决上述技术问题的：一种大数据实时流数据计算方法，所述计算方法包括以下步骤：

(1)开发网络爬虫应用采集Twitter、Facebook社交网站的数据；

优选的，采集方式主要有两种，根据种子URL实时采集数据以及根据关键词实时采集数据。

(2)采集到的数据以json格式存储在文件中；

优选的，由于网络爬虫的工作方式是从网页中抽取需要的非结构数据，这些数据中会存在各种噪声信息，如HTML标签、网页广告等，所以要对这些采集到的数据进行预处理，并对处理后的数据进行融合，存储到Neo4j数据库中；

优选的，为了提高数据的检索速度，对数据建立索引，然后实现信息检索，根据需求，主要实现了关键词检索、人物检索、时间检索等等。

(3)针对检索得到的数据，采用适当的方法进行数据的挖掘与计算；

优选的，如TF-IDF权重计算方法、K-Means聚类算法、卷积神经网络算法等；

优选的，主要有内容计算、行为计算、用户画像、热点话题发现等。

(4)对数据计算的结果使用图、表、地图等进行可视化展示；

优选的，例如使用百度地图根据时间前后顺序展示用户发帖子的行为轨迹，使用表格展示帖子和用户的具体内容，使用折线图和柱状图展示帖子的发布情况，使用关系图展示用户之间的关系，使用聚类图和词云展示热点话题。

优选的，网络爬虫应用包括表现层、业务层以及持久层；

其中，

(1)表现层是直接与用户进行交互，对于WEB应用来说，用户只关心他们需要的功能是不是可以实现，而对于实现的具体逻辑用户并不关心也不需要了解，因此表现层提供给客户的，应该是数据经过处理和计算后的结果，同时还能够响应用户的请求，以图、表、地图等可视化形式将数据计算的结果提供给用户，表现层采用的主要技术有HTML、Echarts、JavaScript、Ajax、CSS等技术，为用户提供美观、简洁的界面；