[发明专利]一种高效的海量舆情数据信息集群匹配方法

权利要求书

1.一种高效的海量舆情数据信息集群匹配方法，其特征在于，包括如下步骤：

S100、将Flume部署至各个舆情采集服务器上，并通过Flume采集从互联网爬取的舆情数据信息；

S110、将从Flume采集到的舆情数据信息存储到Kafka消息队列中；

S120、从Kafka实时消费舆情数据，并利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配；在步骤S120中利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配时，把所有企业信息均加载至Spark内存中；在步骤S120中利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配时，若企业信息容量超过内存，则Spark会保存至本地文件，再采用Hash散列的算法把每个企业信息分发到不同的work中与舆情数据信息进行匹配；

S130、将匹配成功后的关联数据信息展示到各个web系统上。

2.根据权利要求1所述的高效的海量舆情数据信息集群匹配方法，其特征在于，在步骤S110中将从Flume采集到的舆情数据信息存储到Kafka消息队列中，为了对企业舆情数据做离线数据分析，还包括：

将从Flume采集到的舆情数据信息同时存储到HDFS消息队列中。

3.根据权利要求1所述的高效的海量舆情数据信息集群匹配方法，其特征在于，在对企业信息处理前，对企业信息数据进行清洗处理。

4.根据权利要求1所述的高效的海量舆情数据信息集群匹配方法，其特征在于，步骤S100中根据数据量动态调整舆情采集服务器的部署数量。