[发明专利]一种基于电网大数据的数仓可视化建模系统及方法有效
申请号: | 202011295978.7 | 申请日: | 2020-11-18 |
公开(公告)号: | CN112579563B | 公开(公告)日: | 2022-01-21 |
发明(设计)人: | 宋才华;关兆雄;布力;吴丽贤;王永才;杜家兵 | 申请(专利权)人: | 广东电网有限责任公司佛山供电局 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/22 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 林丽明 |
地址: | 528011 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 网大 数据 可视化 建模 系统 方法 | ||
1.一种基于电网大数据的数仓可视化建模系统,其特征在于,包括数据源配置模块、层级/主题域管理模块、逻辑模型设计管理模块、物理模型管理模块、表管理模块;所述数据源配置模块和所述层级/主题域管理模块均连接逻辑模型设计管理模块,所述逻辑模型设计管理模块连接物理模型管理模块,所述物理模型管理模块连接表管理模块;所述数据源配置模块进行指定数据源的配置;所述层级/主题域管理模块建立数据库的层级关系;所述指定的数据源和所述数据库的层级关系输入所述逻辑模型设计管理模块;所述逻辑模型设计管理模块利用所述指定的数据源和数据库的层级关系形成逻辑模型;所述逻辑模型作为所述物理模型管理模块的输入;所述物理模型管理模块利用所述逻辑模型形成物理模型;所述物理模型作为所述表管理模块的输入;所述表管理模块将所述物理模型形成实际表实现对数据库表的维护;
所述数据源配置模块实现指定数据源的配置;层次/主题域管理模块实现数据仓库层级关系的建立,其中,各个层级包括贴源层、整合层、主题层和专题层;所述逻辑模型设计管理模块利用所述指定数据源和所述仓库层级关系可实现自定义可视化模型设计和数据库模型的逆向构建逻辑模型;所述的自定义可视化模型设计支持在设计面板创建数据库逻辑模型实体及其字段属性和支持从逻辑模型设计界面导出模型提供给开发人员进行数据应用开发或导入通过其他工具创建的模型,其中,其他工具包括PowerDesigner企业建模工具;所述数据库模型的逆向构建逻辑模型通过所述逻辑模型设计管理模块自动从源数据库提取数据库表元数据信息,自动生成数据库表的逻辑模型,同时支持手工调整,无需手动创建数据库模型,其中,元数据指的是数据库表的属性;所述物理模型管理模块实现物理模型的构建,通过利用所述逻辑模型设计管理模块生成的逻辑模型,作为所述物理模型管理模块的输入,生成数据库执行脚本DDL语句,其中,所述物理模型的元数据随所述逻辑模型的变更而变更,变更情况可根据版本号来跟踪,所述DDL指的是数据库表创建脚本;所述表管理模块通过所述物理模型管理模块生成的物理模型生成可执行数据库脚本,自动执行数据库脚本,创建实际表,实现对数据库表的维护。
2.根据权利要求1所述的基于电网大数据的数仓可视化建模系统,其特征在于,所述逻辑模型设计管理模块还包括可视化数据建模工具模块,可视化数据库建模工具模块,逆向工程模块;可视化数据建模工具模块与可视化数据库建模工具模块连接,可视化数据库建模工具模块与逆向工程模块连接;所述可视化数据建模工具模块将变更元数据传输到可视化数据库建模模块,将能进行逆向生成逻辑模型的大平台数据传输到逆向工程模块。
3.一种利用如权利要求2所述的基于电网大数据的数仓可视化建模系统的建模方法,其特征在于,包括以下步骤:
S1.由数仓工程师根据业务需求及元数据情况制定数据仓库分层规则,将制定好的数据仓库分层规则传输到逻辑模型设计管理模块;
S2.将大数据平台数据接入数据源配置模块获取元数据,将元数据传输到逻辑模型设计管理模块;
S3.逻辑模型设计管理模块利用步骤S1中的仓库设计和步骤S2中的元数据生成数据仓库分层规则和元数据生成逻辑模型,将逻辑模型传输到层次/主题域管理模块;
S4.层次/主题域管理模块利用步骤S3中的逻辑模型生成各层完整的电力数据仓库逻辑模型,将各层完整的电力数据仓库逻辑模型传输到物理模型管理模块;
S5.物理模型管理模块利用步骤S4中的各层完整的电力数据仓库逻辑模型生成物理模型,将物理模型传输到表管理模块;
S6.表管理模块利用步骤S5中的物理模型实现数据表数据的自动同步恢复;
S7.导出指定数据的数据模型,其中数据模型包括数据结构、数据操作、数据约束。
4.根据权利要求3所述的基于电网大数据的数仓可视化建模系统的建模方法,其特征在于,所述步骤S1的具体过程是:结合电网源数据库中的数据库表结构以及具体输出的数据应用需求,规划整体数据仓库建设方案,由数仓工程师制定数据仓库设计规则,其中数据应用包括用电量统计分析、区域用电量统计分析。
5.根据权利要求4所述的基于电网大数据的数仓可视化建模系统的建模方法,其特征在于,所述步骤S2的具体过程是:大数据平台接入需求的数据库表,为创建数据逻辑模型提供元数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东电网有限责任公司佛山供电局,未经广东电网有限责任公司佛山供电局许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011295978.7/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置