[发明专利]基于云端的电网企业运行数据整合系统

说明书

本申请实施例提出了基于云端的电网企业运行数据整合系统，包括数据接入层：用于将各类异构数据从数据源层抽取、转换、同步到上层；数据治理层：用于通过包括元数据管理、数据字典与主数据管理、数据质量管理在内的方式实现企业数据管控；数据模型层：用于将全域数据的基础表按主题归类，形成全业务基础模型；通用分析模型层：用于为优质客户的增值业务场景、金融机构贷款授信场景提供数据服务；数据服务层：用于提供数据服务化工具和高可用服务响应能力。通过重新定义多层数据模型的具体内容以及应用功能，从数据抽取、主体归类等多方面对数据处理过程进行限定，从而于提升对数据的处理效率。

技术领域

本申请属于数据处理领域，尤其涉及基于云端的电网企业运行数据整合系统。

背景技术

目前的云端数据处理方法较为单一，只能实现对数据的运算、控制、存储和分析，而不能实现对数据的挖掘处理，无法实现根据用户所需数据的类型，通过运用大数据库进行智能挖掘分析出关联数据，不能达到提高数据处理的智能化程度的目的，不能实现通过用户编辑约束条件，建立树归纳分类器，并进行数据的挖掘整合，无法达到根据整合的数据信息进行关联性挖掘的目的，从而给人们利用云计算处理系统带来极大的不便。当前电网企业中数据类别过于繁杂，在现有技术中进行数据归类时的工作量非常庞大，严重降低了工作效率。

发明内容

为了解决现有技术中存在的缺点和不足，本申请提出了基于云端的电网企业运行数据整合系统,通过重新定义多层数据模型的具体内容以及应用功能，从数据抽取、主体归类等多方面对数据处理过程进行限定，从而于提升对数据的处理效率。

具体的，本申请实施例提出的基于云端的电网企业运行数据整合系统，包括：

数据接入层：用于将各类异构数据从数据源层抽取、转换、同步到上层；

数据治理层：用于通过包括元数据管理、数据字典与主数据管理、数据质量管理在内的方式实现企业数据管控；

数据模型层：用于将全域数据的基础表按主题归类，形成全业务基础模型，按主题及主数据与多维度数据的关联关系，聚合成宽表模型，利用数据资产目录管理工具进行管控；

通用分析模型层：用于为优质客户的增值业务场景、金融机构贷款授信场景提供数据服务，包括预测模型、故障诊断模型、欺诈预警模型在内的通用分析模型；

数据服务层：用于提供数据服务化工具和高可用服务响应能力，对服务性能进行监控，通过数据访问日志记录了服务、数据的调用频度，进而衡量数据热度。

可选的，在所述数据接入层中：

使用包括kettle的ETL、包括socketRocket的实时采集方式、包括Flume日志采集方式、包括git-ftp的FTP工具的采集工具。

可选的，在所述数据治理层中使用Apache Atlas的数据治理系统。

可选的，在所述数据模型层和通用分析模型层中：

计算存储方面，实时流式计算使用Spark、Flink，离线计算使用MapReduce，存储使用HDFS、分布式列式数据库Hbase、自研的事务型数据库GreatDB、时序数据库TimescaleDB，MPP数据仓库使用GreenPlum、Gbase8a；

数据建模方面，使用自研的“M+”平台或采用RapidMiner、KNIME等数据挖掘平台。

可选的，在所述数据服务层中：

数据服务目录管理需要自研，数据服务发布使用SpringCloud，数据服务路由器使用Nginx，服务性能监控使用APM。

可选的，在所述整合系统中：