[发明专利]一种基于storm流计算框架的食品安全网络舆情分析方法

权利要求书

1.一种基于storm流计算框架的食品安全网络舆情分析方法，其特征在于，包括以下步骤：

S1、利用Scrapy爬虫框架对网络媒体资源进行网络爬虫，获取有关食品安全网页的url，根据url将相应的网页数据下载并进行分析，最后将数据保存到Hbase数据库中；

S2、Spout节点从Hbase数据库读取数据放入网络拓扑结构topology，并且随机分发给第一层Bolt节点进行计算和处理；

S3、第一层Bolt节点获取数据后对文本数据进行向量化，将文本数据进行分词和计算该词汇的权重；

S4、对第一层Bolt节点向量化后的文本数据进行文本聚类，并将同一类的文本数据发送到相同的Bolt节点中；

S5、对同一类的文本数据作进一步处理，生成事件，提取事件中的舆情信息，根据舆情信息计算出文本分类的舆情倾向度。

2.根据权利要求1所述的基于storm流计算框架的食品安全网络舆情分析方法，其特征在于，所述步骤S3通过汉语分词系统对文本的标题以及摘要进行分词；根据食品分类的规则，在数据库中建立食品类别表，将标题以及摘要分词后的结果与数据库中食品类别表进行对比确定标题或摘要中出现的食品，统计确定为食品的词汇出现的频率，出现频率最高的食品词汇的父类作为事件的分类；继续通过汉语分词系统对整篇文章进行分词，确定该文章出现的时间、地点、评价、转发量及评论数；最后对文本进行向量化。

3.根据权利要求1所述的基于storm流计算框架的食品安全网络舆情分析方法，其特征在于，所述步骤S4使用余弦相似度算法来进行文本聚类。

4.根据权利要求1所述的基于storm流计算框架的食品安全网络舆情分析方法，其特征在于，所述步骤S5在第二层Bolt节点中对同一类的文本数据进行进一步处理，生成事件。

5.根据权利要求4所述的基于storm流计算框架的食品安全网络舆情分析方法，其特征在于，所述第二层Bolt节点首先提取由第一层Bolt节点获得的事件发生的时间、地点、类别以及舆情；根据舆情计算得出舆情倾向度，创建正向倾向词库、中立倾向词库、反向倾向词库共三个倾向数据库，并向三个倾向数据库导入相应的词汇；利用汉语分词系统对文本数据中评价的内容进行分词，将分词后的结果与三个倾向数据库进行对比，获取评价内容中正向倾向、中立倾向、反向倾向的个数，计算出个体对象舆情倾向度；然后基于同一类不同对象的倾向度计算某个文本分类的整体舆情倾向度。