[发明专利]一种高效的海量舆情数据信息集群匹配方法有效

专利信息
申请号: 201710453666.6 申请日: 2017-06-15
公开(公告)号: CN107169143B 公开(公告)日: 2020-06-16
发明(设计)人: 吴梁斌;庄国强;巫锡燥;梁丽琴 申请(专利权)人: 易联众信息技术股份有限公司;易联众(厦门)大数据科技有限公司
主分类号: G06F16/335 分类号: G06F16/335;G06F16/951;G06F16/953;G06F16/9535;H04L29/08
代理公司: 北京远大卓悦知识产权代理事务所(普通合伙) 11369 代理人: 梁雪娇
地址: 361008 福建省厦*** 国省代码: 福建;35
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 高效 海量 舆情 数据 信息 集群 匹配 方法
【说明书】:

发明提供一种高效的海量舆情数据信息集群匹配方法,包括如下步骤:将Flume部署至各个舆情采集服务器上,并通过Flume采集从互联网爬取的舆情数据信息;将从Flume采集到的舆情数据信息存储到Kafka消息队列中;从Kafka实时消费舆情数据,并利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配;将匹配成功后的关联数据信息展示到各个web系统上。本发明通过搭建了一个集群匹配架构来解决时效性差和匹配速度慢等情况,测试结果表明,在采用该集群匹配方式后,从匹配速度、实时性上都有了很大的提高。

技术领域

本发明涉及数据处理技术,特别涉及一种高效的海量舆情数据信息集群匹配方法。

背景技术

舆情信息,就是指在民众社会政治态度的收集、整理、分析、报送、利用和反馈的信息运动过程中,用以客观反映舆情状态及其运动情况的资讯、消息、音信、情报、指令、数据和信号。目前,网上可以获取很多互联网舆情信息,这些舆情信息对于企业来说都非常重要;舆情信息的正负面、转载量、阅读量、传播速度都时刻反应企业在公众心目中的形象。但是互联网舆情信息并没有关联是哪些企业发生负面舆论,所以很多企业都无法实时监控本企业在当前时段所有的舆情信息。

目前,企业数量众多,而从网络上爬取的互联网舆情信息最多时达到每分钟多达上百条,同时企业信息又分为企业全称信息和企业简称信息,所以每条舆情信息都需要和这些企业的全称信息匹配;同时每一条舆情包括标题、转载量、内容等重要信息,而且大部分舆情信息有包含企业全称或者企业简称的内容都在舆情文章的中部或者尾部,所以这对于企业名称的匹配速度也是一大问题。而且匹配的速度必须严格控制在毫秒内,否则到最后会导致舆情信息堵塞,影响企业舆情信息的实时性。

发明内容

为解决上述问题,本发明提供一种高效的海量舆情数据信息集群匹配方法,包括如下步骤:

S100、将Flume部署至各个舆情采集服务器上,并通过Flume采集从互联网爬取的舆情数据信息;

S110、将从Flume采集到的舆情数据信息存储到Kafka消息队列中;

S120、从Kafka实时消费舆情数据,并利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配;

S130、将匹配成功后的关联数据信息展示到各个web系统上。

进一步地,在步骤S110中将从Flume采集到的舆情数据信息存储到Kafka消息队列中,为了对企业舆情数据做离线数据分析,还包括:

将从Flume采集到的舆情数据信息同时存储到HDFS消息队列中。

进一步地,在步骤S120中利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配时,把所有企业信息均加载至Spark内存中。

进一步地,在步骤S120中利用已部署的Spark集群对舆情数据信息和企业信息进行实时匹配时,若企业信息容量超过内存,则Spark会保存至本地文件,再采用Hash散列的算法把每个企业信息分发到不同的work中与舆情数据信息进行匹配。

进一步地,在步骤S120中利用已部署的Spark集群对匹配的舆情信息添加企业唯一标识,若匹配到多家企业则进行信息分裂,产生多笔关联信息。

进一步地,在对企业信息处理前,对企业信息数据进行清洗处理。

进一步地,步骤S100中根据数据量动态调整舆情采集服务器的部署数量。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于易联众信息技术股份有限公司;易联众(厦门)大数据科技有限公司,未经易联众信息技术股份有限公司;易联众(厦门)大数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201710453666.6/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top