[发明专利]一种基于可视化的大数据仓库设计方法及系统

说明书

本发明公开了一种基于可视化的大数据仓库设计方法及系统，方法包括如下步骤：通过可视化操作界面维护建库建表信息；将建库建表信息提交给JAVA服务单元；JAVA服务单元根据服务接口类型确定具体操作类型；将建库建表信息封装为Hive数据仓库可执行命令；将JAVA服务单元连接到HiveServer2服务；提交可执行命令到Hive数据仓库；在Hive数据仓库中执行命令，创建数据库或数据表。提供可视化的建库建表数据维护界面，基于hive+hbase的方式创建数据仓库数据表，简化大数据仓库新建、编辑、删除、修改的操作方式，实现大数据仓库中数据表的新建、编辑、删除、修改，实现大数据仓库中数据表的关系建立。

技术领域

本发明属于计算机技术领域，具体地说，涉及一种基于可视化的大数据仓库设计方法及系统。

背景技术

数据仓库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库，简单来说是本身可视为电子化的文件柜，即存储电子文件的处所，用户可以对文件中的数据进行新增、截取、更新、删除等管理操作。随着互联网不断发展，大数据时代到来，越来越多的企业都在运用大数据，而大数据需要大数据仓库进行存储。因此，大数据仓库的管理也成为了企业不可避免的问题。

通常情况下，无论使用哪种程序遇见进行数据库相关操作，开发人员都是预先知道数据库的结构，并针对指定业务执行特定操作，比如预先写好数据库建表和数据库插入的脚本，预先设定针对指定数据表的操作等。但是随着数据量和数据结构多样化的增加，采用人工创建数据库及数据表的方式，需要编写面向特定数据结构的数据记录和显示程序，与数据结构耦合度较大。当原始数据结构发生变更或需要添加新的数据结构时，需要人工在数据库中更改对应数据表的样式，更新数据记录和显示程序。需要开发人员用命令行操作管理，整个操作很麻烦并且容易出错，且需要管理理人员能够熟练使用大数据仓库相关操作命令，学习成本高，对专业开发人员依赖性大。

发明内容

针对现有技术中上述的不足，本发明提供一种基于可视化的大数据仓库设计方法及系统，提供可视化的建库建表数据维护界面，简化大数据仓库新建、编辑、删除、修改的操作方式，实现大数据仓库中数据表的新建、编辑、删除、修改，降低技术难度和学习成本，实现数据仓库的监控管理。

为了达到上述目的，本发明采用的解决方案是：一种基于可视化的大数据仓库设计方法，包括如下步骤：

S100：通过可视化操作界面维护建库建表信息；

S200：将建库建表信息提交给JAVA服务单元；

S300：JAVA服务单元根据服务接口类型确定具体操作类型；

S400：将建库建表信息封装为Hive数据仓库可执行命令；

S500：将JAVA服务单元连接到HiveServer2服务；

S600：提交可执行命令到Hive数据仓库；

S700：在Hive数据仓库中执行命令，创建数据库或数据表。

进一步地，所述的S100维护建库建表信息包括如下步骤：

S110：在可视化操作界面输入数据仓库的名称、别名和描述，选择创建的数据仓库的类型；

S120：新建某一个数据仓库的表，输入表名称、表类型、表注释、表列。

进一步地，所述的数据库类型包括主题库和集市库。

进一步地，所述的表类型包括TEXTFILE、RCFILE、ORC、PARQUET、MAPPING_HBASE；所述的表列包括普通列和分区列。

进一步地，该方法还包括通过可视化操作界面进入数据仓库详情，选择关系设计对数据仓库中的表进行关联设置；通过可视化操作界面进入数据监控界面，查看数据仓库的数据表总数和数据总量。