[发明专利]一种大数据存储方法和系统在审
申请号: | 201810155732.6 | 申请日: | 2018-02-23 |
公开(公告)号: | CN108304572A | 公开(公告)日: | 2018-07-20 |
发明(设计)人: | 苏家怡;魏烈龙;钟国文;黄海华 | 申请(专利权)人: | 广州天维信息技术股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 广州一锐专利代理有限公司 44369 | 代理人: | 甘奎强 |
地址: | 510000 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 存储 大数据 快照表 临时表 拉链 维度 业务数据汇总 任意时间点 查询服务 存储性能 分割存储 工作效率 快速响应 拉链方式 数据查询 数据存储 系统统计 业务需求 源表 统计 压缩 | ||
1.一种大数据存储方法,其特征在于,包括:
将源表中的当前最新的数据存储在当前快照表中;
将所述当前快照表中当天变动的数据按照时间拉链方式存储在历史拉链表中;
将历史拉链表中当天公共的业务数据汇总存储在过渡临时表中;
根据业务需求,对过渡临时表中的数据进行不同维度的组合并存储在总账压缩表中。
2.根据权利要求1所述的大数据存储方法,其特征在于,将源表中的当前最新的数据存储在当前快照表中的步骤包括:
将当前快照表的数据设置第一标识;
将源表的数据设置第二标识,且所述源表的数据存在于当前快照表中;
将所述第一标识和第二标识进行关联。
3.根据权利要求1所述的大数据存储方法,其特征在于,将所述当前快照表中当天变动的数据按照时间拉链方式存储在历史拉链表中的步骤包括:
删除历史拉链表中的旧数据,修改预设结束日期;或者
在统计日期为年初时,若历史拉链表中有数据时,则对所述数据进行截断;若历史拉链表中没有数据时,将当前快照表的所有数据导到历史拉链表中,确定起始日期为统计日期;
若统计日期不为年初时,若历史拉链表中有数据,总历史拉链表中结束日期等于预设结束日期,且其起始日期小于统计日期的数据关联到当前快照表,并进行数据截断;若历史拉链表中没有数据,将存在于当前快照表的数据,从当前快照表直接导到历史拉链表,并确定起始日期为统计日期。
4.根据权利要求3所述的大数据存储方法,其特征在于,在统计日期为年初时,若历史拉链表中有数据时,则对所述数据进行截断的步骤包括:
将历史拉链表的中数据的起始日期小于统计日期的数据的预设结束日期修改为统计日期的前一天;
将当前快照表的所有数据导到历史拉链表,起始日期为统计日期。
5.根据权利要求3所述的大数据存储方法,其特征在于,若统计日期不为年初时,若历史拉链表中有数据,总历史拉链表中结束日期等于预设结束日期,且其起始日期小于统计日期的数据关联到当前快照表,并进行数据截断的步骤包括:
将修改历史拉链表中数据的预设结束日期为统计日期的前一天;
将当前快照表的数据导到历史拉链表,起始日期确定为统计日期。
6.根据权利要求1所述的大数据存储方法,其特征在于,将历史拉链表中当天公共的业务数据汇总存储在过渡临时表中的步骤包括:
获取统计日期当天的当前快照表或者历史拉链表中的所有数据,对所述数据进行业务逻辑运算,并保存到过渡临时表中。
7.一种大数据存储系统,其特征在于,包括:当前快照表存储单元、历史拉链表存储单元、过渡临时表存储单元和总账压缩表存储单元;
所述当前快照表存储单元,用于将源表中的当前最新的数据存储在当前快照表中;
所述历史拉链表存储单元,用于将所述当前快照表中当天变动的数据按照时间拉链方式存储在历史拉链表中;
所述过渡临时表存储单元,用于将历史拉链表中当天公共的业务数据汇总存储在过渡临时表中;
所述总账压缩表存储单元,用于根据业务需求,对过渡临时表中的数据进行不同维度的组合并存储在总账压缩表中。
8.根据权利要求7所述的大数据存储系统,其特征在于,所述当前快照表存储单元,还用于将当前快照表的数据设置第一标识;
将源表的数据设置第二标识,且所述源表的数据存在于当前快照表中;
将所述第一标识和第二标识进行关联。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州天维信息技术股份有限公司,未经广州天维信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810155732.6/1.html,转载请声明来源钻瓜专利网。