[发明专利]用于电网数据的统一数据源管理系统及方法

说明书

本发明公开了一种用于电网数据的统一数据源管理系统和方法，所述统一数据源管理系统以分布式文件系统为存储，通过Hive和Hawq引擎对外提供上层应用且根据业务场景自动适配读取不同数据源，该系统包括：统一写数据模块，其从数据导出节点将数据写入到HDFS文件，创建与该HDFS文件相关联的Hive表结构和Hawq表结构，以及这两种表结构的关联信息和用户的表权限；统一读数据模块，其预先为每个用户创建统一的数据源，并授权给用户相关库的表权限，根据业务场景自动适配进行Hive数据库和Hawq数据库的切换；统一权限管控模块，其在进行数据写入和读出时，判别当前用户是否具有表权限。本发明能够提高数据分析效率、节约成本。

技术领域

本发明涉及电网技术领域，尤其涉及一种用于电网数据的统一数据源管理系统及方法。

背景技术

随着电网规模的高速发展，信息化技术手段已广泛应用于电网的各个层面，取得了显著效果，为满足国民经济和社会发展的需要，提高客户服务质量做出了有力支撑。电力企业的计量自动化、采集系统也在不断完善普及，从而产生了海量的用电数据。

当前电网采集的用电数据实时性高且数据量巨大，在大数据分析的实施过程中，处于上层应用的数据分析人员并不清楚底层数据存储的逻辑、不同存储方式及数据执行引擎的性能，这导致不同的数据分析工具之间数据的应用容易产生冲突，进而导致数据分析的工作质量、效率太低。

发明内容

本发明所要解决的技术问题之一是需要提供一种提高数据分析效率、节约成本的用于电网数据的统一数据源管理系统。

为了解决上述技术问题，本申请的实施例首先提供了一种用于电网数据的统一数据源管理系统，所述统一数据源管理系统以分布式文件系统为存储，通过Hive和Hawq引擎对外提供上层应用且根据业务场景自动适配读取不同数据源，该系统包括：统一写数据模块，其从数据导出节点将数据写入到HDFS文件，创建与该HDFS文件相关联的Hive表结构和Hawq表结构，以及这两种表结构的关联信息和用户的表权限；统一读数据模块，其预先为每个用户创建统一的数据源，并授权给用户相关库的表权限，根据业务场景自动适配进行Hive数据库和Hawq数据库的切换；统一权限管控模块，其在进行数据写入和读出时，判别当前用户是否具有表权限。

在一个实施例中，所述统一写数据模块，其在创建Hive表结构和Hawq表结构的关联信息时，配置Hawq++数据源和Hive数据源的对应关系、Hawq++表名和Hive表名的适配关系、以及表字段类型的适配关系。

在一个实施例中，所述统一读数据模块，其在根据业务场景自动适配进行Hive数据库和Hawq数据库的切换时，根据预先配置好的Hawq++数据源和Hive数据源的对应关系、Hawq++表名和Hive表名的适配关系、以及表字段类型的适配关系进行数据库切换。

在一个实施例中，所述业务场景包括SQL统计分析场景和数据挖掘场景；

进一步，所述统一读数据模块，其在SQL统计分析场景中，选择配置好的作为统一数据源的Hawq++数据源，进行SQL代码编写；若是数据挖掘场景中，则选择配置好的Hawq++数据源，在读取的时候，自动切换成为读取Hive表的数据。

根据本发明的另一方面，还提供了一种用于电网数据的统一数据源管理方法，在该方法中以分布式文件系统为存储，通过Hive和Hawq引擎对外提供上层应用且根据业务场景自动适配读取不同数据源，该方法包括：统一写数据步骤，从数据导出节点将数据写入到HDFS文件，创建与该HDFS文件相关联的Hive表结构和Hawq表结构，以及这两种表结构的关联信息和用户的表权限；统一读数据步骤，预先为每个用户创建统一的数据源，并授权给用户相关库的表权限，根据业务场景自动适配进行Hive数据库和Hawq数据库的切换；统一权限管控步骤，在进行数据写入和读出时，判别当前用户是否具有表权限。