[发明专利]一种基于电网大数据的数仓可视化建模系统及方法

说明书

本发明涉及大数据技术领域，特别涉及一种基于电网大数据的数仓可视化建模系统，包括数据源配置模块、层级/主题域管理模块、逻辑模型设计管理模块、物理模型管理模块、表管理模块，所述的数据源配置模块进行指定数据源的配置，所述的层级/主题域管理模块建立数据库的层级关系，所述逻辑模型设计管理模块形成逻辑模型，所述物理模型管理模块形成物理模型，所述表管理模块将所述物理模型形成实际表实现对数据库表的维护。本发明的基于电网大数据的数仓可视化建模系统及方法能快速高效的构建出满足要求数据库建模平台，提高电网大数据中心数据库建模效率及数据建模的规范性。

技术领域

本发明涉及大数据技术领域，特别涉及一种基于电网大数据的数仓可视化建模系统及方法。

背景技术

数据仓库是按照数据类型、结构等特性采用计算机存储设备来对数据进行组织、存储和管理的仓库，从本质上看可以将其视为数据的文件柜，可以根据用户的需求而对该仓库内的数据进行新增、截取、更新和删除等管理操作。随着社会经济的高速发展，大数据时代的到来，电力行业对于电力大数据的存储、管理和分析的要求越来越高，而根据不同类型的电力大数据需要建立不同的数据仓库，因此，电力大数据仓库的构建成为了电力企业不可避免的问题。

当前电网的业务量非常复杂，数据量比较庞大，数据应用也逐渐成为电网的主要发展方向，所以多电网沉淀的海量数据依赖性越来越强烈，正确而连贯的数据流对电力行业决策部门做出快速、灵活的决策起到决定性的作用。建立正确的数据流和数据结构才能保证最好的结果，从而需要建立一套流畅、高效的电网大数据的数仓建模体系尤为重要。

专利号为201811384906.2的专利说明书中公开了一种基于可视化的大数据仓库设计方法及系统，此系统包括可视化建库建表信息维护单元、JAVA服务单元和Hive数据仓库；此方法先采用可视化操作界面建库建表信息和采用JAVA服务单元进行具体操作类型的确定，再将建库建表信息封装为Hive数据仓库可执行明显和将JAVA服务单元连接到HiveServer2服务，最后再Hive数仓库中执行命令、创建数据库和数据表。此方法提供可视化的建库建表数据维护界面，简化大数据仓库新建、编辑、删除、修改的操作方式，降低技术难度和学习成本，实现数据仓库的监控管理。此方法主要是针对大数据仓库的管理，并没有涉及到数仓可视化建模效率的提高和数据建模的规范性。

发明内容

本发明提供一种基于电网大数据得数仓可视化建模系统，该系统可实现电网大数据中心数据库建模效率及数据建模的规范性的提高。

本发明的又一目的在于提供一种基于电网大数据的数仓可视化建模方法。

为实现以上发明目的，而采用的技术手段是：

一种基于电网大数据的数仓可视化建模系统，包括数据源配置模块、层级/主题域管理模块、逻辑模型设计管理模块、物理模型管理模块、表管理模块；所述数据配置模块和所述层级/主题域管理模块均连接逻辑模型设计管理模块，所述逻辑模型设计管理模块连接物理模型管理模块，所述物理模型管理模块连接表管理模块；所述数据源配置模块进行指定数据源的配置；所述层级/主题域管理模块建立数据库的层级关系；所述指定的数据源和所述数据库的层级关系输入所述逻辑模型设计管理模块；所述逻辑模型设计管理模块利用所述指定的数据源和数据库的层级关系形成逻辑模型；所述逻辑模型作为所述物理模型管理模块的输入；所述物理模型管理模块利用所述逻辑模型形成物理模型；所述物理模型作为所述表管理模块的输入；所述表管理模块将所述物理模型形成实际表实现对数据库表的维护。

通过所述的数据源配置模块可实现进行指定数据源的配置，通过所述的层级/主题域管理模块可实现数据库的层级关系的建立，通过所述逻辑模型设计管理模块可实现逻辑模型的形成，通过所述物理模型管理模块可实现物理模型的形成，通过所述表管理模块将可将所述物理模型形成实际表从而实现对数据库表的维护。