[发明专利]一种实时数据处理中维度关联的方法及系统有效
申请号: | 201910569815.4 | 申请日: | 2019-06-27 |
公开(公告)号: | CN110471914B | 公开(公告)日: | 2022-07-12 |
发明(设计)人: | 施斌;彭虎;佘国俊;李成;孙迁 | 申请(专利权)人: | 苏宁云计算有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/23;G06F16/2455 |
代理公司: | 北京市万慧达律师事务所 11111 | 代理人: | 黄玉东 |
地址: | 210000 江苏省南*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 实时 数据处理 维度 关联 方法 系统 | ||
本发明属于通信网络安全领域,公开了一种实时数据处理中维度关联的方法,该方法包括:待处理的维度表数据经过实时流处理;根据表数据的数据量大小选择直接缓存到本地或者缓存动态热数据;监听维度表数据是否发生变化,如数据发生变化,则触发更新,刷新本地缓存;最后输出更新后的维度表数据,以后处理的数据则都以新维度数据进行关联。本发明还公开了一种实时数据处理中维度关联的系统。本发明解决了现有技术中存在的实时关联维度表的效率低及维度数据不能及时更新的问题。
技术领域
本发明属于大数据实时数仓建设技术领域,尤其涉及一种实时数据处理中维度关联的方法及系统。
背景技术
随着互联网技术的飞速发展,采集的数据量也在不断增加,数据的在助力业务的发展方面越发重要。实时数仓建设显得尤为的重要。数据处理过程中,我们需要根据业务的需求把业务数据的事实表进行拉宽处理。方便下游数据产品或数据应用能够更方便的、更快捷的进行数据分析。
目前传统的实时分析技术,存在如下的问题:1.维度表数据量庞大时,面对庞大的采集日志处理时存在关联维度表TPS低的性能瓶颈。 2.维度表变化后不能够及时的更新,存在维度关联不上的问题。
发明内容
本发明的目的是,提供一种实时数据处理中维度关联的方法,以解决解决现有技术中存在的实时关联维度表的效率低及维度数据不能及时更新的问题。
本发明采用的技术方案如下:
一种实时数据处理中维度关联的方法,所述方法包括:
待处理的维度表数据经过实时流处理系统;
实时流处理系统根据表数据的数据量大小选择直接缓存到本地或者缓存动态热数据;
监听维度表数据是否发生变化,如数据发生变化,则触发更新;
输出更新后的维度表数据。
进一步地,所述方法还包括:用户对维度表数据的更新是通过界面进行配置以调整表数据的相关信息。
进一步地,通过心跳机制来触发判断维度表数据是否发生变化。
进一步地,维度表数据根据数据量大小存储于不同类型的数据库中,当实际的维度表数据量大于设定的基础数据量时,为大表,选择使用Hbase数据库作为底层数据的存储;当实际的维度表数据量小于设定的基础数据量时,为小表,选择Mysql数据库作为底层数据的存储。
进一步地,当数据量为小表时,通过 Mysql数据库的A表、B表以及表之间的标记来保证服务在切换过程中的稳定性;当数据量为大表类型时,通过外置的数据交换任务进行底层数据的增量更新。
进一步地,调整表数据的相关信息包括表类型、表名称、是否适用KV内存数据库。
进一步地,在使用场景多的服务时,设置KV内存中间件。
进一步地,待处理的维度表数据进入实时流处理系统时,先验证小表内存是否全部加载完成,并通过实时流计算的工作日志来定位判断数据记载是否异常。
本发明的另一方面,还提供了一种实时数据处理中维度关联的系统,所述系统包括:实时流处理系统、监听模块及输出模块,其中,
所述实时流处理模块,将待处理的维度表数据,根据其数据量大小选择直接缓存到本地或者缓存动态热数据;
监听模块,监听所述实时流处理系统中的维度表数据是否发生变化,如数据发生变化,则触发更新;
输出模块,在维度表信息更新后输出更新后的数据作为关联数据。
进一步地,所述系统还包括:配置模块,用以通过界面进行配置调整实时流处理模块的维度信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏宁云计算有限公司,未经苏宁云计算有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910569815.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据清洗方法及装置
- 下一篇:账户路由确定方法及装置