[发明专利]一种基于Storm分布式框架的食品安全网络舆情预警系统

摘要

本发明公开了属于大数据处理技术领域中的一种基于storm分布式框架的食品安全网络舆情预警系统，通过爬取网络媒体的新闻网页，然后从网页文件中提取食品相关舆情信息并将其进行分布式聚类；对每个聚类结果中的舆情信息进行进一步分析以得到每个事件，并获取事件的起源、发展、高潮、结束阶段的相关信息，以达到网络监控的目的。本系统通过storm分布式框架提高了舆情数据处理的效率，解决了以往时效性较差的缺点。

主权项

1.一种基于storm分布式框架的食品安全网络舆情预警系统，其特征在于，通过爬取食品相关舆情信息，并进行分布式聚类；分析聚类结果以得到事件信息，判断舆情变化趋势，进而进行监控和预警；/n所述系统的拓扑结构包括控制节点和工作节点，所述控制节点上包括Nimbus组件，所述Nimbus组件负责分配工作给工作节点并且监控状态；所述工作节点包括Supervisor组件，所述Supervisor组件负责监听所辖服务器的工作，根据需要启动/关闭工作进程；/n通过spout节点从外部数据源读取数据并且随机分发给第一层bolt节点进行计算和处理，bolt节点向外继续发送本身处理后的结果给下一层bolt节点，从而将任务分成多个部分并行处理，任务拓扑在提交后会一直运行，除非显示终止；/n第一层bolt节点对文本进行分词和向量化，采用NLPIR汉语分词系统和食品类别表对文本进行分词处理，然后使用TF_IDF算法和自编码神经网络进行向量化，实现食品类别判断，对标题和摘要分词后的结果与食品类别表中的词进行对比，对出现频率最高的食品词汇与食品类别表中的子类别进行关联匹配，得出文本在食品类别表中的父类别，作为文本的分类，其中，文本采用向量空间模型的形式来表示如表达式(1)：/nD＝{(t