[发明专利]一种基于storm流计算框架的食品安全网络舆情分析方法在审
| 申请号： | 201710957248.0 | 申请日： | 2017-10-16 |
| 公开（公告）号： | CN107832344A | 公开（公告）日： | 2018-03-23 |
| 发明（设计）人： | 吴羽;黄文恺;林炽杰 | 申请（专利权）人： | 广州大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 广州市华学知识产权代理有限公司44245 | 代理人： | 裘晖,林梅繁 |
| 地址： | 510006 广东省广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明为基于storm流计算框架的食品安全网络舆情分析方法，对网络媒体资源进行网络爬虫，获取有关食品安全网页的url，下载相应的网页数据进行分析后保存到Hbase数据库中；Spout节点从数据库读取数据放入网络拓扑结构，随机分发给第一层Bolt节点；第一层Bolt节点获取数据后对文本数据进行向量化，进行分词和计算该词汇的权重；对第一层Bolt节点向量化后的文本数据进行文本聚类，将同一类的发送到相同的Bolt节点中；对同一类的文本数据作进一步处理生成事件，提取事件中舆情信息，据此计算出文本分类的舆情倾向度。本发明通过对网络舆情进行分析以实现对食品安全的监控，利用storm分布式流计算框架，提高了数据处理的效率，解决了以往时效性较差的缺点。 | ||
| 搜索关键词： | 一种 基于 storm 计算 框架 食品安全 网络 舆情 分析 方法 | ||
【主权项】：
一种基于storm流计算框架的食品安全网络舆情分析方法，其特征在于，包括以下步骤：S1、利用Scrapy爬虫框架对网络媒体资源进行网络爬虫，获取有关食品安全网页的url，根据url将相应的网页数据下载并进行分析，最后将数据保存到Hbase数据库中；S2、Spout节点从Hbase数据库读取数据放入网络拓扑结构topology，并且随机分发给第一层Bolt节点进行计算和处理；S3、第一层Bolt节点获取数据后对文本数据进行向量化，将文本数据进行分词和计算该词汇的权重；S4、对第一层Bolt节点向量化后的文本数据进行文本聚类，并将同一类的文本数据发送到相同的Bolt节点中；S5、对同一类的文本数据作进一步处理，生成事件，提取事件中的舆情信息，根据舆情信息计算出文本分类的舆情倾向度。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州大学，未经广州大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710957248.0/，转载请声明来源钻瓜专利网。
