[发明专利]大数据环境下实现历史数据拉链表存储建模处理的系统及方法

说明书

本发明涉及一种大数据环境下实现历史数据拉链表存储建模处理的系统，包括数据初始化模块，用于拉链表模型字段建模表结构定义和模型初始化；数据正常拉链模块；数据回算拉链模块。本发明还涉及一种实现大数据环境下的历史数据拉链表存储建模处理的方法。采用了本发明的大数据环境下实现历史数据拉链表存储建模处理的系统及方法，通过数据的实际情况进行拉链存储，拉链后相同的数据不做重复存储可以最大限度的压缩存储的大小。拉链表模型自动定义数据结构规范满足多种业务发展需要，可以迅速的定位所需要时间段或者时间点的业务数据，检索效率非常高，该发明能够保证数据的完整性，系统的保持良好的性能，保持批量健壮性。还能明显节省硬件成本。

技术领域

本发明涉及计算机领域，尤其涉及大数据领域，具体是指一种大数据环境下实现历史数据拉链表存储建模处理的系统及方法。

背景技术

大数据时代，越来越多的企业需要大量的数据来满足业务的需要。大中型企业都需要保存，海量数据来分析、挖掘、存储历史数据。客户的数据越来越显的尤为重要。海量的数据存储及数据的读取访问对于大多数企业来说存在一定的瓶颈。传统的数据开发方法，在这块不能很好的解决存在的矛盾。

目前传统领域的数据建模对基础领域的基础数据采用直接存储、增量数据储存、按照日期月度滚动分区。直接存储的方案对于不需要保留历史数据的情况可以解决。保留历史数据的情况下需要耗费大量的存储空间存在比较多的冗余数据。保留数据周期非常短，基础数据只能保存一个月左右。增量数据能够满足较长的历史数据存储的应用。但对于存在不定期更新时更新效率比较低、同样查询效率比较低。增量数据在后期查询检索效率比较低。按照日期月度滚动分区，只保留一个月的数据。历史数据完整性较差，占用空间对于大数据量的，存在较多的冗余数据。拉链表存储数据解决方发，解决了以上三种现有常用方案的不理想的现状。拉链表存储数据方法，能够保持少量的空间、存储全量的历史数据、拥有高效率的读写速度，各方面的指标开销较小。

历史数据拉链表存储解决方发还不能很好的支持字段类型为大数据类型的数据(比如：LONG\CLOB\BLOB)等类型的数据。也不能跨数据库支持多种数据库的历史数据拉链。目前只支持oracle下的解决方案。在以后的后续过程中过程会根据需要支持大数据类型的数据格式和其他数据库的方案。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足读取速度快、系统性能好、硬件成本低的大数据环境下实现历史数据拉链表存储建模处理的系统及方法。

为了实现上述目的，本发明的大数据环境下实现历史数据拉链表存储建模处理的系统及方法如下：

该大数据环境下实现历史数据拉链表存储建模处理的系统，其主要特点是，所述的系统包括：

数据初始化模块，用于拉链表模型字段建模表结构定义和模型初始化；

数据正常拉链模块，与所述的数据初始化模块相连接，用于正常批量拉链表历史数据加载；

数据回算拉链模块，与所述的数据正常拉链模块相连接，用于回算已经发生的拉链表历史数据加载。

较佳地，所述的数据初始化模块包括：

拉链表模型结构定义单元，用于对拉链表模型进行结构定义，修改拉链表模型；

拉链表模型初始化单元，与所述的拉链表模型结构定义单元相连接，用于通过读取配置指定的模型基础生成对应的拉链表接口表和拉链表历史表。

该基于上述系统实现大数据环境下的历史数据拉链表存储建模处理的方法，其主要特点是，所述的方法包括以下步骤：

(1)所述的数据初始化模块进行拉链表结构定义，初始化拉链表接口和拉链表历史表结构；

(2)判断当前批量日期是否未跑过批量，如果是，则继续步骤(3)；否则，继续步骤(4)；