[发明专利]一种大数据存储方法和系统

说明书

本发明涉及一种大数据存储方法和系统，所述方法包括：将源表中的当前最新的数据存储在当前快照表中，这样可以快速响应查询服务请求；将所述当前快照表中当天变动的数据按照时间拉链方式存储在历史拉链表中，实现对历史任意时间点的数据查询；将历史拉链表中当天公共的业务数据汇总存储在过渡临时表中，用于系统当前反复统计使用，提高系统统计效率，降低逻辑难度；根据业务需求，对过渡临时表中的数据进行不同维度的组合并存储在总账压缩表中，用于系统快速统计不同业务维度的数据，这样将大数据按照不同需要进行分割存储，能够很大程度上提供存储性能，提高工作人员的工作效率。

技术领域

本发明涉及数据存储技术领域，特别是涉及一种大数据存储方法和系统。

背景技术

目前绩效考核系统是银行重点建设的信息系统之一，对银行的发展极具战略意义。银行每天产生的日常业务数据非常庞大，因此银行如何建立一个高性能、高容量、灵活伸缩扩展、自动归档数据的数据存储机制非常重要。现有银行绩效系统的数据存储普遍存在如下缺点：1、存储的单表业务数据量大，查询效率非常慢，不能快速响应业务请求；2、存储的数据没有历史记录机制，无法查看以往时点状态的数据，只能查看当前最新的业务数据；3、没有临时使用机制，每次需要关联查询多个业务表，导致查询逻辑复杂，效率低下；4、不能快速查询任意维度的汇总数据，只能从帐户粒度的大量数据表进行汇总查询；5、没有归档逻辑，表数据量持续增长，导致最后无法访问；6、不能按业务重要性进行数据快速备份、恢复；7、不能针对性的对高频数据，大表进行内存优化。

发明内容

为了克服现有技术存在的银行系统还没有一个高性能、高容量、灵活伸缩扩展、自动归档数据的数据存储机制不足，本发明提供了一种大数据存储方法和系统。

本发明解决其技术问题所采用的技术方案是：

一种大数据存储方法，包括：将源表中的当前最新的数据存储在当前快照表中；将所述当前快照表中当天变动的数据按照时间拉链方式存储在历史拉链表中；将历史拉链表中当天公共的业务数据汇总存储在过渡临时表中；根据业务需求，对过渡临时表中的数据进行不同维度的组合并存储在总账压缩表中。

优选地，将源表中的当前最新的数据存储在当前快照表中的步骤包括：将当前快照表的数据设置第一标识；将源表的数据设置第二标识，且所述源表的数据存在于当前快照表中；将所述第一标识和第二标识进行关联。

优选地，将所述当前快照表中当天变动的数据按照时间拉链方式存储在历史拉链表中的步骤包括：删除历史拉链表中的旧数据，修改预设结束日期；或者在统计日期为年初时，若历史拉链表中有数据时，则对所述数据进行截断；若历史拉链表中没有数据时，将当前快照表的所有数据导到历史拉链表中，确定起始日期为统计日期；若统计日期不为年初时，若历史拉链表中有数据，总历史拉链表中结束日期等于预设结束日期，且其起始日期小于统计日期的数据关联到当前快照表，并进行数据截断；若历史拉链表中没有数据，将存在于当前快照表的数据，从当前快照表直接导到历史拉链表，并确定起始日期为统计日期。

优选地，在统计日期为年初时，若历史拉链表中有数据时，则对所述数据进行截断的步骤包括：将历史拉链表的中数据的起始日期小于统计日期的数据的预设结束日期修改为统计日期的前一天；将当前快照表的所有数据导到历史拉链表，起始日期为统计日期。

优选地，若统计日期不为年初时，若历史拉链表中有数据，总历史拉链表中结束日期等于预设结束日期，且其起始日期小于统计日期的数据关联到当前快照表，并进行数据截断的步骤包括：将修改历史拉链表中数据的预设结束日期为统计日期的前一天；将当前快照表的数据导到历史拉链表，起始日期确定为统计日期。

优选地，将历史拉链表中当天公共的业务数据汇总存储在过渡临时表中的步骤包括：获取统计日期当天的当前快照表或者历史拉链表中的所有数据，对所述数据进行业务逻辑运算，并保存到过渡临时表中。