[发明专利]规划域电网数据集市构建方法、系统、计算机及存储介质

说明书

本发明公开了规划域电网数据集市构建方法、系统、计算机及存储介质，方法包括：获取各个业务系统的数据源并构建数据源层；根据所述数据源层构建数据缓存层；根据所述数据缓存层构建数据整合层；根据所述数据整合层构建数据汇总层；根据所述数据汇总层构建数据集市层；根据所述数据集市层构建数据应用层。本发明还公开了一种电网数据集市构建系统、计算机及存储介质。采用本发明，通过构建数据集市，实现了各业务系统数据的汇聚，同时提供业务系统源数据目录、整合数据目录的数据资产平台，解决长期存在的数据供需矛盾。

技术领域

本发明涉及大数据领域，尤其涉及规划域电网数据集市构建方法、系统、计算机及存储介质。

背景技术

随着电网数据应用的发展，其电网各业务域，如设备、项目、安全生产、财务、人资、计量、调度等，数据仍然以分散式主题的形式存储，上层数据应用仍然以烟囱式开展，底层基础数据与上层数据应用之间缺少数据中台为不断增长的数据应用提供共享集市服务，以减少轻度汇总数据、指标、主题的重复建设和开发。且现有的数据分析应用以定制化为主，应用服务缺乏灵活性，响应周期长，数据价值难以深入挖掘，需要在数据融合的基础上构建丰富的数据服务产品。开展规划域的数据集市建设，对全领域、全业务的数据实现数据集市层统一数据模型标准，将进一步提高业务用户的使用效率和分析的灵活性。

发明内容

本发明所要解决的技术问题在于，提供一种规划域电网数据集市构建方法，通过构建数据集市，实现了各业务系统数据的汇聚，同时提供业务系统源数据目录、整合数据目录的数据资产平台，解决长期存在的数据供需矛盾。

为了解决上述技术问题，本发明提供了一种规划域电网数据集市构建方法，通过数据中台的方式对相关业务数据进行采集、整合、汇总、分析，形成规划域数据中台，通过Web应用界面开发、SDK API调用、WebService调用、数据文件等数据接口形式，面向大屏监控、专题分析、即席报表、明细清单、数据挖掘、自助查询等数据应用提供统一的数据服务。

具体包括：

步骤1：获取各个业务系统的数据源并构建数据源层；

步骤2，根据所述数据源层构建数据缓存层，该数据缓存层实现公司内外部近期数据资源的接入和缓存，通过批量离线数据采集、批量准实时数据采集、实时流数据采集、外部数据采集在内的数据采集传输方式，从旧数据仓库Oracle接入规划域业务系统的数据，完成数据源层中包括安全生产管理、营销管理在内系统的内部在线数据、内部离线数据的采集和汇聚，存储在Hive表中，为大数据平台的数据处理做准备；

步骤3，根据所述数据缓存层构建数据整合层，该数据整合层从数据主题的角度进行全面整合、清洗和标准化；

步骤4，根据所述数据整合层构建数据汇总层，该数据汇总层以数据整合层清洗、转换后的数据明细为基础，以包括星型模型在内的多维模型的建模方式构建分析对象的统计模型，面向数据分析主题进行所有常用维度的汇总统计；

步骤5，根据所述数据汇总层构建数据集市层，该数据集市层面向业务和应用场景进行数据融合和共享，实现数据的价值整合，完成规划数据集市的数据服务能力开放和业务服务能力开放；

步骤6，根据所述数据集市层构建数据应用层。

优选地，所述数据整合层基于Hadoop大数据平台存储资源进行构建，按照规划域业务主题进行数据的重新划分，并进行数据的标准化处理，清理无效的数据。

优选地，所述数据汇总层基于数据整合层的数据进行汇总，生成规划域的公共指标数据，供数据集市层进行汇总分析使用，包括设备公共指标、监控公共指标、运行公共指标在内的公共指标统计。