[发明专利]一种云计算平台的数据持久化分布方法在审
申请号: | 201810760881.5 | 申请日: | 2018-07-12 |
公开(公告)号: | CN109063017A | 公开(公告)日: | 2018-12-21 |
发明(设计)人: | 郑向阳;钟送来 | 申请(专利权)人: | 广州市闲愉凡生信息科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 广州京诺知识产权代理有限公司 44407 | 代理人: | 冼启泰 |
地址: | 510000 广东省广州市南沙区黄阁镇麒麟新村(一期)麒天街13、1*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种云计算平台的数据持久化分布方法,包括如下步骤:步骤1,通过分布式信息队列,获取目标端数据存储要求;步骤2,所述分布式信息队列将信息传输至流处理模块和批处理模块进行处理;步骤3,将处理后的待分布数据发送至分布式文件系统;步骤4,利用SQL语义查询系统完成存储在所述分布式文件系统上的运算结果的查询。与传统的流式计算与全量计算共存的系统相比,本发明只需要实现一份流式计算代码,降低了开发维护成本;再者,本发明采用多个数据流的流失数据处理来实现多表数据处理,实现了对不同数据结构、不同数据源的数据的分析、处理、存储;另外,本发明可以实现高效的数据查询管理。 | ||
搜索关键词: | 分布式文件系统 分布式信息 数据持久化 云计算平台 数据处理 流式 队列 批处理 存储 数据存储要求 查询系统 分布数据 获取目标 数据查询 数据结构 信息传输 运算结果 数据流 传统的 流处理 数据源 发送 查询 分析 维护 开发 管理 | ||
【主权项】:
1.一种云计算平台的数据持久化分布方法,其特征在于,包括如下步骤:步骤1,通过分布式信息队列,获取目标端数据存储要求;步骤2,所述分布式信息队列将数据传输至流处理模块和批处理模块进行处理;步骤3,将处理后的待分布数据发送至分布式文件系统;步骤4,利用SQL语义查询系统完成存储在所述分布式文件系统上的运算结果的查询。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州市闲愉凡生信息科技有限公司,未经广州市闲愉凡生信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810760881.5/,转载请声明来源钻瓜专利网。