[发明专利]一种用于大数据治理平台数据库构建方法

说明书

本发明公开了一种用于大数据治理平台数据库构建方法，属于大数据系统技术领域，包括如下步骤：建立包括有辅助分析工具、数据仓库、计算层、调度层以及数据采集层；建立大数据治理平台的架构；数据源、数据仓库以及数据应用之间采用元数据进行互通，且从生成到消费的整个数据链都被元数据记录下来；采用自行开发编译的DSL描述语言将至少两种不同计算引擎语法相互匹配和接入；数据从来源端经过抽取、转换、加载至目的端的过程中经过数据仓库技术的描述；搭建DSL管理器用于多应用与服务总线以及调度层之间的数据分析；本申请采用DSL管理器对应用与服务层之间进行分析查询，拓展性好，复用率高，开发效率高，不会出现大量重复开发的现象。

技术领域

本发明属于大数据系统技术领域，具体涉及一种用于大数据治理平台数据库构建方法。

背景技术

当下的大数据治理平台架构似乎连接了各种大数据组件并实现了集成管理，但这种裸架构业务数据开发需要注意许多基本工具的使用，在实际的使用中仍存在很多不便，包括长期过程无法管理和维护批计算和流量计算两套计算模型，难以启动开发，且大多数数据查询都是由需求驱动的。为每个需求开发一个或多个接口，并编写对业务方开放的接口文档，在大数据系统下，这种模式存在很多问题包括灵活性不高，扩展性差等，为此我们提出一种用于大数据治理平台数据库构建方法。

发明内容

本发明的目的在于提供一种用于大数据治理平台数据库构建方法，以解决上述背景技术中提出的问题。

为了实现上述目的，本发明采用了如下技术方案：一种用于大数据治理平台数据库构建方法，其特征在于，包括如下步骤：

A、建立包括有辅助分析工具、数据仓库、计算层、调度层、储存层、数据传输层以及数据采集层；

B、采用lambda架构或kappa架构建立大数据治理平台的架构；

C、数据源、数据仓库以及数据应用之间采用元数据进行互通，且从生成到消费的整个数据链都被元数据记录下来；

D、采用自行开发编译的DSL描述语言将至少两种不同计算引擎语法相互匹配和接入；

E、数据从来源端经过抽取、转换、加载至目的端的过程中经过数据仓库技术的描述；

F、搭建DSL管理器用于多应用与服务总线以及调度层之间的数据分析。

进一步地，DSL管理器位于服务层内。

进一步地，所述DSL管理器包括DSL解析模块、资源寻址模块、DSL语法管理模块、ETL能力模块、DSL执行计划模块、数据合并层、元数据管理模块以及结果缓存模块。

进一步地，所述服务层包括基础层。

进一步地，所述基础层包括权限校验模块、限流模块、熔断模块、降级模块、资源管理模块、监控模块、安全校验模块以及服务管理模块。

进一步地，所述元数据包含静态表、列和分区信息，动态任务与表的依赖映射，数据仓库模型定义，数据生命周期。

进一步地，所述元数据还用于ETL任务调度信息、输入和输出元数据是数据管理、数据内容和数据应用的基础。

进一步地，计算引擎包括Spark和Hadoop以及Flink。

相比于现有技术，本发明的有益效果在于：

本申请采用DSL管理器对应用与服务层之间进行分析查询，拓展性好，复用率高，开发效率高，不会出现大量重复开发的现象；利用整个大数据流由元数据管理，方便数据跟踪、权限控制、资源管理和数据共享等，且DSL描述语言将至少两种不同计算引擎语法相互匹配和接入。

附图说明