[发明专利]在线计算数据处理方法及系统有效
申请号: | 201811641291.7 | 申请日: | 2018-12-29 |
公开(公告)号: | CN110046172B | 公开(公告)日: | 2023-07-11 |
发明(设计)人: | 连文珑;王帅;黄文华;周家英 | 申请(专利权)人: | 创新先进技术有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2458;G06F18/232 |
代理公司: | 北京永新同创知识产权代理有限公司 11376 | 代理人: | 林锦辉 |
地址: | 英属开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 在线 计算 数据处理 方法 系统 | ||
1.一种用于在线计算数据写入处理的方法,包括:
在获取到针对至少一个在线计算数据的数据写入请求后,基于所述至少一个在线计算数据的时间戳信息,按照给定时间粒度来对所述至少一个在线计算数据进行聚类,每个数据聚类对应于数据库的一个数据行,所述数据库具有行锁能力;以及
采用乐观锁机制来将各个数据聚类的在线计算数据写入到所述数据库的对应数据行中,
其中,每个数据行具有版本号信息,采用乐观锁机制来将各个数据聚类写入到所述数据库的对应数据行中包括:
针对每个数据聚类,获取对应数据行的第一版本号信息以及对应的在线计算数据;
对该数据聚类中的在线计算数据进行实时汇总计算,并且对所获取的第一版本号信息进行自增处理;
获取对应数据行的第二版本号信息;以及
在所述第一版本号信息与所述第二版本号信息一致时,将该数据聚类的经过实时汇总计算后的在线计算数据写入到所述数据库的对应数据行中,并且将该数据行的版本号更新为自增处理后的版本号,
其中,所述第一版本号信息是在进行实时汇总计算之前获取的版本号信息,以及所述第二版本号信息是在进行实时汇总计算之后获取的版本号信息。
2.如权利要求1所述的方法,其中,所述给定时间粒度是基于在线计算的应用场景确定的。
3.如权利要求2所述的方法,其中,所述给定时间粒度包括下述中的至少一种:小时粒度,日粒度,周粒度、月粒度和年粒度。
4.如权利要求3所述的方法,其中,所述数据库包括至少一个数据表,以及所述至少一个数据表中的各个数据表对应于不同的给定时间粒度,
其中,采用乐观锁机制来将各个数据聚类的在线计算数据写入到所述数据库的对应数据行中包括:
采用乐观锁机制来将各个数据聚类的在线计算数据写入到所述数据库的对应数据表的对应数据行中。
5.如权利要求3所述的方法,其中,所述数据库是按照列式存储方式来进行存储的。
6.如权利要求1所述的方法,其中,所述在线计算数据具有唯一数据标识信息,以及
基于所述至少一个在线计算数据的时间戳信息,按照给定时间粒度来对所述至少一个在线计算数据进行聚类包括:
基于所述至少一个在线计算数据的时间戳信息和唯一数据标识信息,按照给定时间粒度来对所述至少一个在线计算数据进行聚类。
7.如权利要求1到6中任一所述的方法,其中,所述数据库包括下述数据中的一种数据库:Hbase数据库、OceanBase数据库、Vertica数据库和Greenplum数据库。
8.一种用于在线计算数据查询处理的方法,包括:
在获取到数据查询请求后,按照给定时间粒度对所述数据查询请求中的指定查询时间跨度进行解析,以确定数据库的查询数据行;以及
从所述数据库中读取所确定出的查询数据行内的在线计算数据,
其中,所述数据库具有行锁能力,并且所述数据库中的各个数据行的数据是按照权利要求1到7中任一所述的方法写入的。
9.如权利要求8所述的方法,其中,所述给定时间粒度包括下述中的至少一种:小时粒度,日粒度,周粒度、月粒度和年粒度,所述数据库包括至少一个数据表,以及所述至少一个数据表中的各个数据表对应于不同的给定时间粒度,
其中,按照给定时间粒度对所述数据查询请求中的指定查询时间跨度进行解析,以确定数据库的查询数据行包括:
按照所述给定时间粒度来对所述指定查询时间跨度进行解析,以确定所述数据库的查询数据表以及对应的查询数据行。
10.如权利要求8或9所述的方法,其中,所述数据查询请求包括目标查询字段,所述方法还包括:
基于所述目标查询字段来对所读取的在线计算数据进行整合处理,以得到目标查询数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于创新先进技术有限公司,未经创新先进技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811641291.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用于获取信息的系统、方法和装置
- 下一篇:调度信息的生成方法及装置、电子设备