[发明专利]基于事件心跳和多版本的Flink流维Join通用处理方法在审
申请号: | 202011179330.3 | 申请日: | 2020-10-29 |
公开(公告)号: | CN112307023A | 公开(公告)日: | 2021-02-02 |
发明(设计)人: | 王慧 | 申请(专利权)人: | 杭州微拍堂文化创意有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/21;G06F16/2455;G06F16/27;G06K9/62;H04L12/26 |
代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 陈升华 |
地址: | 310012 浙江省杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于事件心跳和多版本的Flink流维Join通用处理方法,包括:快照服务器接收来自存储端发送的心跳事件,将接收到的心跳事件按不同数据集分类,合并来自相同数据集分区的心跳生成该分区的快照,合并相同数据集所有分区的快照生成数据集的快照;用户在Flink服务上进行流维Join计算,根据不同流维所属的数据集查询该快照,生成水印,Flink服务根据水印触发流计算,生成计算结果,写入存储端。本发明在满足静态维表Join、支持异步、缓存动态维表Join以及动态维表Join以上场景的同时,做到维表在任务间共享;同时回刷数据时可以Join到历史时刻的维表数据,保证回刷数据的准确性。 | ||
搜索关键词: | 基于 事件 心跳 版本 flink 流维 join 通用 处理 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州微拍堂文化创意有限公司,未经杭州微拍堂文化创意有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011179330.3/,转载请声明来源钻瓜专利网。
- 上一篇:一种无人机巢自主巡航网络系统
- 下一篇:一种能融冰的光缆