[发明专利]一种高效的海量舆情数据信息集群匹配方法有效
申请号: | 201710453666.6 | 申请日: | 2017-06-15 |
公开(公告)号: | CN107169143B | 公开(公告)日: | 2020-06-16 |
发明(设计)人: | 吴梁斌;庄国强;巫锡燥;梁丽琴 | 申请(专利权)人: | 易联众信息技术股份有限公司;易联众(厦门)大数据科技有限公司 |
主分类号: | G06F16/335 | 分类号: | G06F16/335;G06F16/951;G06F16/953;G06F16/9535;H04L29/08 |
代理公司: | 北京远大卓悦知识产权代理事务所(普通合伙) 11369 | 代理人: | 梁雪娇 |
地址: | 361008 福建省厦*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 高效 海量 舆情 数据 信息 集群 匹配 方法 | ||
本发明提供一种高效的海量舆情数据信息集群匹配方法,包括如下步骤:将Flume部署至各个舆情采集服务器上,并通过Flume采集从互联网爬取的舆情数据信息;将从Flume采集到的舆情数据信息存储到Kafka消息队列中;从Kafka实时消费舆情数据,并利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配;将匹配成功后的关联数据信息展示到各个web系统上。本发明通过搭建了一个集群匹配架构来解决时效性差和匹配速度慢等情况,测试结果表明,在采用该集群匹配方式后,从匹配速度、实时性上都有了很大的提高。
技术领域
本发明涉及数据处理技术,特别涉及一种高效的海量舆情数据信息集群匹配方法。
背景技术
舆情信息,就是指在民众社会政治态度的收集、整理、分析、报送、利用和反馈的信息运动过程中,用以客观反映舆情状态及其运动情况的资讯、消息、音信、情报、指令、数据和信号。目前,网上可以获取很多互联网舆情信息,这些舆情信息对于企业来说都非常重要;舆情信息的正负面、转载量、阅读量、传播速度都时刻反应企业在公众心目中的形象。但是互联网舆情信息并没有关联是哪些企业发生负面舆论,所以很多企业都无法实时监控本企业在当前时段所有的舆情信息。
目前,企业数量众多,而从网络上爬取的互联网舆情信息最多时达到每分钟多达上百条,同时企业信息又分为企业全称信息和企业简称信息,所以每条舆情信息都需要和这些企业的全称信息匹配;同时每一条舆情包括标题、转载量、内容等重要信息,而且大部分舆情信息有包含企业全称或者企业简称的内容都在舆情文章的中部或者尾部,所以这对于企业名称的匹配速度也是一大问题。而且匹配的速度必须严格控制在毫秒内,否则到最后会导致舆情信息堵塞,影响企业舆情信息的实时性。
发明内容
为解决上述问题,本发明提供一种高效的海量舆情数据信息集群匹配方法,包括如下步骤:
S100、将Flume部署至各个舆情采集服务器上,并通过Flume采集从互联网爬取的舆情数据信息;
S110、将从Flume采集到的舆情数据信息存储到Kafka消息队列中;
S120、从Kafka实时消费舆情数据,并利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配;
S130、将匹配成功后的关联数据信息展示到各个web系统上。
进一步地,在步骤S110中将从Flume采集到的舆情数据信息存储到Kafka消息队列中,为了对企业舆情数据做离线数据分析,还包括:
将从Flume采集到的舆情数据信息同时存储到HDFS消息队列中。
进一步地,在步骤S120中利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配时,把所有企业信息均加载至Spark内存中。
进一步地,在步骤S120中利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配时,若企业信息容量超过内存,则Spark会保存至本地文件,再采用Hash散列的算法把每个企业信息分发到不同的work中与舆情数据信息进行匹配。
进一步地,在步骤S120中利用已部署的Spark集群对匹配的舆情信息添加企业唯一标识,若匹配到多家企业则进行信息分裂,产生多笔关联信息。
进一步地,在对企业信息处理前,对企业信息数据进行清洗处理。
进一步地,步骤S100中根据数据量动态调整舆情采集服务器的部署数量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于易联众信息技术股份有限公司;易联众(厦门)大数据科技有限公司,未经易联众信息技术股份有限公司;易联众(厦门)大数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710453666.6/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置