[发明专利]数据存储的方法及装置

说明书

本发明提供一种数据储存的方法和装置，该方法包括：获取上游源系统的文本文件；执行预先生成的建表SQL语句，在数据库的第一目标存储区域生成与所述文本文件对应的空白存储表；其中，所述建表SQL语句根据语法规则文件、处理规则文件和所述接口文档生成；执行预先生成的ETL命令，将所述文本文件的数据信息加载到所述空白存储表，得到目标存储表；其中，所述ETL命令根据所述语法规则文件和所述处理规则文件生成；执行预先生成的插入SQL语句，累积所述目标存储表中存储的预设时间段内的数据，得到全量数据，并将所述全量数据存储到所述数据库的第二目标存储区域；其中，所述插入SQL语句根据所述语法规则文件和所述处理规则文件生成。

技术领域

本发明涉及数据库技术领域，尤其涉及到一种数据存储的方法及装置。

背景技术

数据集中存储化通常需要总数据库接收来自多个上游源系统的文本文件。一般情况下，在将外部的文本文件存储到总数据库时，需要先对文本文件的数据信息进行萃取-转置-加载(Extract Transform Load，ETL)操作，再将ETL操作后得到的数据存储表，插入到数据库的统一数据模型(Unified Data Manager，UMD)层中。

现阶段，上述的存储作业通常由人工完成，其方法为对接收的文本文件手写相应的建表脚本、ETL操作脚本和数据插入脚本，进而根据不同的脚本实现建表、ETL操作和将数据存储表插入到数据库的UMD层等操作。然而人工手写脚本的方式效率低，耗时长，脚本代码的编写还依赖个人能力，质量难以控制；且上游源数据有可能对数据进行了多次变更，造成数据整体冗余，极大地增加了编码工作的复杂度，进而对数据库的数据存储工作造成了很大的阻碍。

发明内容

有鉴于此，本发明实施例提供了一种数据存储的方法及装置，能够实现代码的自动生成、执行，从而降低数据库的数据存储工作量，提高企业工作效率。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面提供了一种数据存储的方法，包括：

获取上游源系统的文本文件；

执行预先生成的建表SQL语句，在数据库的第一目标存储区域生成与所述文本文件对应的空白存储表；其中，所述建表SQL语句根据语法规则文件、处理规则文件和接口文档生成；

执行预先生成的ETL命令，将所述文本文件的数据信息加载到所述空白存储表，得到目标存储表；其中，所述ETL命令根据所述语法规则文件和所述处理规则文件生成；

执行预先生成的插入SQL语句，累积所述目标存储表中存储的预设时间段内的数据，得到全量数据，并将所述全量数据存储到所述数据库的第二目标存储区域；其中，所述插入SQL语句根据所述语法规则文件和所述处理规则文件生成。

可选的，所述处理规则文件，包括：表级处理规则、文件级处理规则和字段级处理规则；其中：

所述建表SQL语句根据所述语法规则文件、所述表级处理规则和所述接口文档生成；所述表级处理规则包括：在所述数据库的第一目标存储区域中生成的空白存储表的设定规则；

所述ETL命令根据所述语法规则文件和所述文件级处理规则生成；所述文件级处理规则包括：所述上游源系统的文本文件和对应的数据库中表的设定规则；

所述插入SQL语句根据所述语法规则文件和所述字段级处理规则生成；所述字段级处理规则包括：所述数据库的第一目标存储区域中存储的存储表中字段的处理规则。

可选的，所述处理规则文件的构建方式，包括：

获取接口文档；其中，所述接口文档用于记录存储于所述数据库中表的属性信息；

处理所述接口文档的信息，生成处理规则文件。

可选的，还包括：