[发明专利]大数据平台管理系统、方法、设备和存储介质

权利要求书

1.一种大数据平台管理系统，其特征在于，所述大数据平台管理系统包括：

初始化模块，用于获取抽数配置文件、标准化配置；

数据抽取模块，用于基于所述抽数配置文件读取源表的全量数据或增量数据并存储至缓冲层的物理表；

数据转换模块，用于在将所述缓冲层的数据加载至基础层时，根据所述标准化配置自动进行日期格式化和/或码值转换；

数据加载模块，用于根据加载脚本将所述缓冲层的数据自动加载至基础层的物理表。

2.如权利要求1所述的大数据平台管理系统，其特征在于，

初始化模块根据业务需求确定待抽取入数据仓库的业务表，根据所述业务表的表结构确定抽取策略和加载策略，其中，所述业务表的业务表名、抽取策略和加载策略构成抽数配置信息；

初始化模块将所述抽数配置信息填写入配置模板，以生成所述抽数配置文件。

3.如权利要求2所述的大数据平台管理系统，其特征在于，所述初始化模块还用于执行下述操作：

根据所述抽数配置文件自动获取源表的数据结构，并自动创建元数据信息、缓冲层的物理表与基础层的物理表之间的依赖关系；

根据所述元数据信息自动创建缓冲层的物理表、基础层的物理表。

4.如权利要求3所述的大数据平台管理系统，其特征在于，根据加载脚本将所述缓冲层的数据自动加载至基础层的物理表包括：

根据所述元数据信息、抽数策略、加载策略、标准化配置实时生成自动加载脚本，调用所述自动加载脚本将所述缓冲层的数据自动加载至基础层的物理表；

备份所述自动加载脚本后删除所述自动加载脚本。

5.如权利要求4所述的大数据平台管理系统，其特征在于，根据加载脚本将所述缓冲层的数据自动加载至基础层的物理层还包括：

自动探测是否存在手工加载脚本，如果存在，则优先调用所述手工加载脚本将所述缓冲层的数据自动加载至基础层的物理表；

若不存在所述手工加载脚本，则调用所述自动加载脚本将所述缓冲层的数据自动加载至基础层的物理表。

6.如权利要求1所述的大数据平台管理系统，其特征在于，标准化配置包括日期标准化配置和码值标准化配置。

7.如权利要求6所述的大数据平台管理系统，其特征在于，根据标准化配置自动进行日期格式化包括：

在将所述缓冲层的数据加载至基础层的insert插入脚本中，根据所述日期标准化配置将日期格式化字符串自动转换成数据仓库的SQL结构化查询语言日期格式化字串。

8.如权利要求6所述的大数据平台管理系统，其特征在于，根据标准化配置自动进行码值转换包括：

在将所述缓冲层的数据加载至基础层的insert脚本中，根据所述码值标准化配置自动生成join连接语句关联至码值映射表，并获得所述码值映射表中转换后的码值。

9.如权利要求1所述的大数据平台管理系统，其特征在于，所述大数据平台管理系统还包括：

元数据管理模块，用于对所述大数据平台的缓冲层的物理表的表结构、源表与缓冲层的物理表之间的字段映射关系，以及所述标准化配置进行管理。

10.如权利要求1所述的大数据平台管理系统，其特征在于，所述大数据平台管理系统还包括：

调度模块，用于根据源表与缓冲层的物理表之间的依赖关系、缓冲层的物理表与基础层的物理表之间的依赖关系，以及各数据处理任务之间的依赖关系自动生成调度脚本，根据所述调度脚本进行任务调度。