[发明专利]大数据平台管理系统、方法、设备和存储介质

摘要

本发明提供了一种大数据平台管理系统、方法、设备和存储介质。所述系统包括：初始化模块，用于获取抽数配置文件、标准化配置；数据抽取模块，用于基于抽数配置文件读取源表的全量数据或增量数据并存储至缓冲层的物理表；数据转换模块，用于在将所述缓冲层的数据加载至基础层时，根据标准化配置自动进行日期格式化和/或码值转换；数据加载模块，用于根据加载脚本将所述缓冲层的数据自动加载至基础层。本发明的大数据平台管理系统中，数据抽取模块自动根据抽数配置文件获取源表数据，数据转换模块自动进行日期格式化和码值转换，数据加载模块将缓冲层的数据自动加载至基础层，不仅节约人工成本，降低了出错率，同时极大提升了ETL工作效率。