[发明专利]一种用于大数据治理平台数据库构建方法

权利要求书

1.一种用于大数据治理平台数据库构建方法，其特征在于，包括如下步骤：

A、建立包括有辅助分析工具、数据仓库、计算层、调度层、储存层、数据传输层以及数据采集层；

B、采用lambda架构或kappa架构建立大数据治理平台的架构；

C、数据源、数据仓库以及数据应用之间采用元数据进行互通，且从生成到消费的整个数据链都被元数据记录下来；

D、采用自行开发编译的DSL描述语言将至少两种不同计算引擎语法相互匹配和接入；

E、数据从来源端经过抽取、转换、加载至目的端的过程中经过数据仓库技术的描述；

F、搭建DSL管理器用于多应用与服务总线以及调度层之间的数据分析。

2.根据权利要求1所述的一种用于大数据治理平台数据库构建方法，其特征在于：DSL管理器位于服务层内。

3.根据权利要求2所述的一种用于大数据治理平台数据库构建方法，其特征在于：所述DSL管理器包括DSL解析模块、资源寻址模块、DSL语法管理模块、ETL能力模块、DSL执行计划模块、数据合并层、元数据管理模块以及结果缓存模块。

4.根据权利要求1所述的一种用于大数据治理平台数据库构建方法，其特征在于：所述服务层包括基础层。

5.根据权利要求4所述的一种用于大数据治理平台数据库构建方法，其特征在于：所述基础层包括权限校验模块、限流模块、熔断模块、降级模块、资源管理模块、监控模块、安全校验模块以及服务管理模块。

6.根据权利要求1所述的一种用于大数据治理平台数据库构建方法，其特征在于：所述元数据包含静态表、列和分区信息，动态任务与表的依赖映射，数据仓库模型定义，数据生命周期。

7.根据权利要求1所述的一种用于大数据治理平台数据库构建方法，其特征在于：所述元数据还用于ETL任务调度信息、输入和输出元数据是数据管理、数据内容和数据应用的基础。

8.根据权利要求1所述的一种用于大数据治理平台数据库构建方法，其特征在于：计算引擎包括Spark和Hadoop以及Flink。