[发明专利]一种基于storm流计算框架的食品安全网络舆情分析方法

说明书

技术领域

本发明涉及食品安全大数据处理技术领域，尤其涉及一种基于storm流计算框架的食品安全网络舆情分析方法。

背景技术

随着经济的发展，人们的生活质量不断提高，对食品的要求也从“裹腹”向“健康、营养”过渡。我国目前建立了较为完备的食品质量安全标准，但对于食品安全的网络监控和基于互联网的食品安全分析并不多。食品安全分析是食品安全管理的重要组成部分，其功能主要在于对食品安全风险的预防预测。影响食品安全的因素复杂多变，对于食品安全监管的难度系数也越来越大，建立有效的食品安全网络舆情分析机制，及时发现安全隐患是一项迫切任务。

现有的数据处理框架有storm、MapReduce、SparkStreaming等。

MapReduce：MapReduce是一种面向大数据并行处理的计算框架。主要分为map阶段和reduce阶段这两个阶段，每个阶段都是用键值对作为输入和输出。map阶段是从文件流读取信息，按关键字形成key/value键值对。reduce阶段是对map阶段的结果进行汇总，将具有相同key值的分为一类进行统一处理。MapReduce是一种分布式框架，可以降低服务器的压力，提高运算效率，但是MapReduce是一种离线数据处理框架，无法满足实时性要求高的业务。

SparkStreaming：SparkStreaming是一个类似于MapReduce的分布式计算框架，其核心在于其弹性分布式数据集。它与MapReduce相比的优势就在于它是一种实时计算框架，能同时运行大量的结点，进行海量数据的处理。主要原理是将实时输入的数据流以时间片Δt为单位切分成块，然后把每块数据作为一个RDD(弹性分布式数据集)，并使用RDD提供的接口实现数据的批量处理，最终将处理的结果生成一个Spark Job等待汇总。SparkStreaming具有吞吐量大、实时性高的优点，但事务机制并不完善，数据容易丢失出错。

综上所述，本发明结合Scrapy与storm框架并通过优化storm框架中的Single‐pass算法提供一种食品安全网络舆情分析系统。

发明内容

为了解决现有技术所存在的问题，本发明提供一种基于storm流计算框架的食品安全网络舆情分析方法，通过Scrapy爬虫框架爬取有关食品安全的网页，然后对提取出来的网页文件的文本内容进行分词以及向量化，对向量化后的文本数据进行分布式聚类，对同一类聚类结果做进一步处理，获取该类的倾向度结果，再根据倾向度结果判断舆情变化的趋势，从而进行监控和预警。

本发明采用如下技术方案来实现：一种基于storm流计算框架的食品安全网络舆情分析方法，包括以下步骤：

S1、利用Scrapy爬虫框架对网络媒体资源进行网络爬虫，获取有关食品安全网页的url，根据url将相应的网页数据下载并进行分析，最后将数据保存到Hbase数据库中；

S2、Spout节点从Hbase数据库读取数据放入网络拓扑结构topology，并且随机分发给第一层Bolt节点进行计算和处理；

S3、第一层Bolt节点获取数据后对文本数据进行向量化，将文本数据进行分词和计算该词汇的权重；

S4、对第一层Bolt节点向量化后的文本数据进行文本聚类，并将同一类的文本数据发送到相同的Bolt节点中；

S5、对同一类的文本数据作进一步处理，生成事件，提取事件中的舆情信息，根据舆情信息计算出文本分类的舆情倾向度。

所述步骤S3通过汉语分词系统对文本的标题以及摘要进行分词；根据食品分类的规则，在数据库中建立食品类别表，将标题以及摘要分词后的结果与数据库中食品类别表进行对比确定标题或摘要中出现的食品，统计确定为食品的词汇出现的频率，出现频率最高的食品词汇的父类作为事件的分类；继续通过汉语分词系统对整篇文章进行分词，确定该文章出现的时间、地点、评价、转发量及评论数；最后对文本进行向量化。

所述步骤S5在第二层Bolt节点中对同一类的文本数据进行进一步处理，生成事件。第二层Bolt节点首先提取由第一层Bolt节点获得的事件发生的时间、地点、类别以及舆情；根据舆情计算得出舆情倾向度，创建正向倾向词库、中立倾向词库、反向倾向词库共三个倾向数据库，并向三个倾向数据库导入相应的词汇；利用汉语分词系统对文本数据中评价的内容进行分词，将分词后的结果与三个倾向数据库进行对比，获取评价内容中正向倾向、中立倾向、反向倾向的个数，计算出个体对象舆情倾向度；然后基于同一类不同对象的倾向度计算某个文本分类的整体舆情倾向度。