[发明专利]用于电网数据的统一数据源管理系统及方法

权利要求书

1.一种用于电网数据的统一数据源管理系统，其特征在于，所述统一数据源管理系统以分布式文件系统为存储，通过Hive和Hawq引擎对外提供上层应用且根据业务场景自动适配读取不同数据源，该系统包括：

统一写数据模块，其从数据导出节点将数据写入到HDFS文件，创建与该HDFS文件相关联的Hive表结构和Hawq表结构，以及这两种表结构的关联信息和用户的表权限；

统一读数据模块，其预先为每个用户创建统一的数据源，并授权给用户相关库的表权限，根据业务场景自动适配进行Hive数据库和Hawq数据库的切换；

统一权限管控模块，其在进行数据写入和读出时，判别当前用户是否具有表权限。

2.根据权利要求1所述的统一数据源管理系统，其特征在于，

所述统一写数据模块，其在创建Hive表结构和Hawq表结构的关联信息时，配置Hawq++数据源和Hive数据源的对应关系、Hawq++表名和Hive表名的适配关系、以及表字段类型的适配关系。

3.根据权利要求2所述的统一数据源管理系统，其特征在于，

所述统一读数据模块，其在根据业务场景自动适配进行Hive数据库和Hawq数据库的切换时，根据预先配置好的Hawq++数据源和Hive数据源的对应关系、Hawq++表名和Hive表名的适配关系、以及表字段类型的适配关系进行数据库切换。

4.根据权利要求1～3中任一项所述的统一数据源管理系统，其特征在于，

所述业务场景包括SQL统计分析场景和数据挖掘场景；

进一步，所述统一读数据模块，其在SQL统计分析场景中，选择配置好的作为统一数据源的Hawq++数据源，进行SQL代码编写；若是数据挖掘场景中，则选择配置好的Hawq++数据源，在读取的时候，自动切换成为读取Hive表的数据。

5.一种用于电网数据的统一数据源管理方法，其特征在于，在该方法中以分布式文件系统为存储，通过Hive和Hawq引擎对外提供上层应用且根据业务场景自动适配读取不同数据源，该方法包括：

统一写数据步骤，从数据导出节点将数据写入到HDFS文件，创建与该HDFS文件相关联的Hive表结构和Hawq表结构，以及这两种表结构的关联信息和用户的表权限；

统一读数据步骤，预先为每个用户创建统一的数据源，并授权给用户相关库的表权限，根据业务场景自动适配进行Hive数据库和Hawq数据库的切换；

统一权限管控步骤，在进行数据写入和读出时，判别当前用户是否具有表权限。

6.根据权利要求1所述的统一数据源管理方法，其特征在于，

在所述统一写数据中，在创建Hive表结构和Hawq表结构的关联信息时，配置Hawq++数据源和Hive数据源的对应关系、Hawq++表名和Hive表名的适配关系、以及表字段类型的适配关系。

7.根据权利要求6所述的统一数据源管理方法，其特征在于，

在统一读数据步骤中，在根据业务场景自动适配进行Hive数据库和Hawq数据库的切换时，根据预先配置好的Hawq++数据源和Hive数据源的对应关系、Hawq++表名和Hive表名的适配关系、以及表字段类型的适配关系进行数据库切换。

8.根据权利要求5～7中任一项所述的统一数据源管理方法，其特征在于，

所述业务场景包括SQL统计分析场景和数据挖掘场景；

进一步，在所述统一读数据中，若在SQL统计分析场景中，选择配置好的作为统一数据源的Hawq++数据源，进行SQL代码编写；若是数据挖掘场景中，则选择配置好的Hawq++数据源，在读取的时候，自动切换成为读取Hive表的数据。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求5至8任一所述方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求5至8任一所述方法的步骤。