[发明专利]数据存储的方法及装置

权利要求书

1.一种数据存储的方法，其特征在于，包括：

获取上游源系统的文本文件；

执行预先生成的建表SQL语句，在数据库的第一目标存储区域生成与所述文本文件对应的空白存储表；其中，所述建表SQL语句根据语法规则文件、处理规则文件和接口文档生成；

执行预先生成的ETL命令，将所述文本文件的数据信息加载到所述空白存储表，得到目标存储表；其中，所述ETL命令根据所述语法规则文件和所述处理规则文件生成；

执行预先生成的插入SQL语句，累积所述目标存储表中存储的预设时间段内的数据，得到全量数据，并将所述全量数据存储到所述数据库的第二目标存储区域；其中，所述插入SQL语句根据所述语法规则文件和所述处理规则文件生成；

其中，所述处理规则文件的构建方式，包括：

获取接口文档；其中，所述接口文档用于记录上游源系统中每张表的接口，包括表级别的属性信息和字段级别的属性信息，所述表级别的属性信息包括表名、中文注释、下发频率，字段级别的属性信息包括每张表的字段名、表内序号、字段属性、字段长度；

处理所述接口文档的信息，生成处理规则文件；

整理所述处理规则文件，提取得到表级处理规则、文件级处理规则和字段级处理规则中的内容；

组合所提取到的内容，得到表级处理规则、文件级处理规则和字段级处理规则。

2.根据权利要求1所述的方法，其特征在于，所述处理规则文件，包括：表级处理规则、文件级处理规则和字段级处理规则；其中：

所述建表SQL语句根据所述语法规则文件、所述表级处理规则和所述接口文档生成；所述表级处理规则包括：在所述数据库的第一目标存储区域中生成的空白存储表的设定规则；

所述ETL命令根据所述语法规则文件和所述文件级处理规则生成；所述文件级处理规则包括：所述上游源系统的文本文件和对应的数据库中表的设定规则；

所述插入SQL语句根据所述语法规则文件和所述字段级处理规则生成；所述字段级处理规则包括：所述数据库的第一目标存储区域中存储的存储表中字段的处理规则。

3.根据权利要求1所述的方法，其特征在于，还包括：

读取所述数据库的第一目标存储区域生成的空白存储表的表结构信息；

将读取得到的所述表结构信息和所述接口文档进行比对，得到比对结果；

根据所述比对结果，判断所述数据库的第一目标存储区域存储的空白存储表是否正确。

4.根据权利要求1所述的方法，其特征在于，还包括：

读取所述数据库的第一目标存储区域存储的目标存储表中的行数；

将所述数据库的第一目标存储区域存储的目标存储表中的行数，和所述文本文件的行数进行比对，得到ETL加载率；

判断所述ETL加载率是否满足预设ETL加载达标率的要求。

5.根据权利要求1所述的方法，其特征在于，还包括：

读取所述数据库的第一目标存储区域存储的目标存储表中的行数、以及所述数据库的第二目标存储区域存储的全量数据中的行数；

将所述数据库的第一目标存储区域存储的目标存储表中的行数，和所述数据库的第二目标存储区域存储的全量数据中的行数进行比对，得到数据插入准确率；

判断所述数据插入准确率是否满足预设数据插入达标率的要求。