[发明专利]一种基于Storm分布式框架的食品安全网络舆情预警系统

说明书

本发明公开了属于大数据处理技术领域中的一种基于storm分布式框架的食品安全网络舆情预警系统，通过爬取网络媒体的新闻网页，然后从网页文件中提取食品相关舆情信息并将其进行分布式聚类；对每个聚类结果中的舆情信息进行进一步分析以得到每个事件，并获取事件的起源、发展、高潮、结束阶段的相关信息，以达到网络监控的目的。本系统通过storm分布式框架提高了舆情数据处理的效率，解决了以往时效性较差的缺点。

技术领域

本发明涉及食品安全大数据处理技术领域，具体而言，提供了一种基于storm分布式框架的食品安全网络舆情预警系统，通过爬取网络媒体的新闻网页，然后从网页文件中提取食品相关舆情信息并将其进行分布式聚类；对每个聚类结果中的舆情信息进行进一步分析以得到每个事件，并获取事件的起源、发展、高潮、结束阶段的相关信息，以达到网络监控的目的。

背景技术

随着互联网的飞速发展和计算机的广泛普及，世界变得越来越小，网络已经成为人们表达观点、宣泄情绪的一种重要的渠道，人们借助于网络所表达和传播对于事件的各种不同态度、认识和情感的集合便形成了网络舆情。网络舆情态势作为衡量社会舆情动态的实时晴雨表在管理实践和学术研究中显得尤为重要。对于网络舆情做出正确的分析与处理，给出预警阈值以及预警等级，将会给公共事务管理者带来极大的好处，进而对舆情引导和事件治理带来正面并且积极的作用。

网络舆情预警方面的研究主要包括以下三方面：建立预警指标体系。有学者认为网络舆情的发生、发展过程会通过一系列关键指标体现，并将这些指标按照一定的科学方法确定关键指标构成、指标维度、指标层次、指标量化方法等，从而建立预警指标体系。基于情感倾向性分析技术的预警。采用这种方式进行预警的学者认为网络舆情预警能力主要体现在是否能够从海量的网络言论中，发现潜在危机的隐患。这两种方法都在一定程度上解决了网络舆情预警的问题，显然也存在明显的不足之处。一是，在建立预警指标体系方面，确定指标的权重会使指标体系带有强烈的主观色彩，并且必须要等到所有末级指标的数据得到后，才能对目标进行评价，这就导致了研究有极大的主观性和不可靠性。二是，指标体系过于庞大，结果计算复杂导致了错过了最佳预警时机。三是，凭借在网络中搜集到的网民态度倾向性很难对事件做出准确的预警。到目前为止，对情感倾向性分析主要包括“赞同”、“反对”、“中立”三种态度。基于web数据挖掘的预警。web挖掘技术将数据挖掘、人工智能和自然语言处理等技术综合在一起，从网络中自动并且智能地抓取目标事件有关的数据，比如对网络数据进行网页特征提取、基于内容的网页聚类、网络间内容关联规则的发现等。然后构成目标数据集，并且利用相应的工具和技术对挖掘出的数据进行分析、解释，并通过分析结果对网络舆情进行危机预警。

俗话说“民以食为天”，物质生活的富裕，更加促进了人们对健康的追求，食品安全问题作为关系到公共卫生健康的重要问题之一也日益被关注。我国目前建立了相对较完备的食品质量安全技术标准，但对于食品安全的状态评价和安全预警研究并不多。食品安全预警是整个食品安全管理战略的重要组成部分，其主要功能在于对食品安全风险的预防预测。影响食品安全的要素复杂多变，食品安全监管的难度系数也逐年上升，建立有效的食品安全网络舆情预警机制，及时发现安全隐患，对重大安全事件防患于未然是一项迫切任务。

单遍法或单道法(Single-pass算法)是流式数据聚类的经典算法，对于依次到达的数据流，该算法按数据输入顺序，每次处理一个数据，对其进行聚类，依据该数据与已有类的数据进行相似度相似度大小计算，将该数据判为已有类或者新形成一个新类。用来进行事件他的提取与追踪。但聚类结果依赖数据的输入顺序，且算法精度不高。