[发明专利]基于Flink的实时数据处理方法、系统、设备及存储介质在审
申请号: | 202310099146.5 | 申请日: | 2023-02-09 |
公开(公告)号: | CN115907450A | 公开(公告)日: | 2023-04-04 |
发明(设计)人: | 姚海杰 | 申请(专利权)人: | 上海致景信息科技有限公司 |
主分类号: | G06Q10/0633 | 分类号: | G06Q10/0633;G06Q50/04;G06F16/23;G06F16/28 |
代理公司: | 广州立诚聚凡专利代理事务所(普通合伙) 44905 | 代理人: | 吴炳聪 |
地址: | 200000 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种基于Flink的实时数据处理方法、系统、设备及存储介质,其技术方案要点是:判断所有当前批次轴品种数据中是否存在与运行轴品种数据相同的轴品种数据,是则根据实时运行数据判断是否更新Flink State中存储的与该轴品种数据对应的当前批次运行数据;否则判断HBase中存储的所有历史轴品种数据中是否存在与运行轴品种数据相同的轴品种数据,是则将该轴品种数据和HBase中存储的与该轴品种数据对应的历史运行数据写入到Flink State中,否则根据HBase中存储的所有周期上报轴品种数据将待添加轴品种数据和实时运行数据写入到HBase中存储;本申请具有便于数据恢复,减少了HBase与Flink State之间的交互,以提高运行效率的效果。 | ||
搜索关键词: | 基于 flink 实时 数据处理 方法 系统 设备 存储 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海致景信息科技有限公司,未经上海致景信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202310099146.5/,转载请声明来源钻瓜专利网。
- 同类专利
- 专利分类
G06 计算;推算;计数
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理