[发明专利]基于云端的电网企业运行数据整合系统

权利要求书

1.基于云端的电网企业运行数据整合系统，其特征在于，所述整合系统包括：

数据接入层：用于将各类异构数据从数据源层抽取、转换、同步到上层；

数据治理层：用于通过包括元数据管理、数据字典与主数据管理、数据质量管理在内的方式实现企业数据管控；

数据模型层：用于将全域数据的基础表按主题归类，形成全业务基础模型，按主题及主数据与多维度数据的关联关系，聚合成宽表模型，利用数据资产目录管理工具进行管控；

通用分析模型层：用于为优质客户的增值业务场景、金融机构贷款授信场景提供数据服务，包括预测模型、故障诊断模型、欺诈预警模型在内的通用分析模型；

数据服务层：用于提供数据服务化工具和高可用服务响应能力，对服务性能进行监控，通过数据访问日志记录了服务、数据的调用频度，进而衡量数据热度。

2.根据权利要求1所述的基于云端的电网企业运行数据整合系统，其特征在于，在所述数据接入层中：

使用包括kettle的ETL、包括socketRocket的实时采集方式、包括Flume日志采集方式、包括git-ftp的FTP工具的采集工具。

3.根据权利要求1所述的基于云端的电网企业运行数据整合系统，其特征在于，在所述数据治理层中使用Apache Atlas的数据治理系统。

4.根据权利要求1所述的基于云端的电网企业运行数据整合系统，其特征在于，在所述数据模型层和通用分析模型层中：

计算存储方面，实时流式计算使用Spark、Flink，离线计算使用MapReduce，存储使用HDFS、分布式列式数据库Hbase、自研的事务型数据库GreatDB、时序数据库TimescaleDB，MPP数据仓库使用GreenPlum、Gbase8a；

数据建模方面，使用自研的“M+”平台或采用RapidMiner、KNIME等数据挖掘平台。

5.根据权利要求1所述的基于云端的电网企业运行数据整合系统，其特征在于，在所述数据服务层中：

数据服务目录管理需要自研，数据服务发布使用SpringCloud，数据服务路由器使用Nginx，服务性能监控使用APM。

6.根据权利要求1所述的基于云端的电网企业运行数据整合系统，其特征在于，在所述整合系统中：

图形报表使用Tableau/Echarts，预警监控使用Bosun，大屏展示使用SLCD可视化工具；

辅助组件包括，消息队列使用Kafka，资源管理使用YARN，平台配调使用ZooKeeper，任务调度使用Oozie或Azkaban。

7.根据权利要求1所述的基于云端的电网企业运行数据整合系统，其特征在于，所述整合系统还包括自动机复杂事件模式监测；

具体包括Cayuga，Cayuga采用流水线的处理模型，每个输入的结果都能实时输出给下一个处理模块，同时采用了优先队列，将拥有相同时间戳的等价状态的多个事件一起处理。

8.根据权利要求1所述的基于云端的电网企业运行数据整合系统，其特征在于，所述整合系统还包括匹配树复杂事件模式监测；

具体包括用树结构来表达复合事件的聚合关系，子节点表达最基本的事件，中间节点表达复合事件，根节点表达的是最复杂的事件；

当树子节点接收一个简单事件，父节点根据事先定义好的规则匹配接收的子节点传递来的简单事件，如果成功，以此类推，到达最后的根节点，整个过程是一个递归的过程，否则说明复杂事件没有发生。

9.根据权利要求1所述的基于云端的电网企业运行数据整合系统，其特征在于，所述整合系统还包括有向图复杂事件模式监测；

具体包括事件的合成规则由有向图的边表示，当事件被触发的时候，也会启动所带的规则，有向图复杂事件模式缺点是基本事件的触发启动是没有考虑事件的顺序，采用有向图复杂事件监测模式系统包括SNOOP和TelegraphCQ。

10.根据权利要求1所述的基于云端的电网企业运行数据整合系统，其特征在于，所述整合系统还包括Petri网复杂事件模式监测；

具体包括有库所、变迁、有向弧W及拖肯组成，输入库对简单事件进行建模，输出库对复杂事件进行建模，辅助库描述事件之间的依赖关系；

拖肯取决于主要拖肯的相关位置，Petri网是按照分层的思想来分析事件之间的逻辑关系和条件约束。