[发明专利]一种Hadoop大数据组件统一验证系统

说明书

本发明涉及一种Hadoop大数据组件统一验证系统，包括开源组件验证平台，所述开源组件验证平台包括组件接入模块、用例管理模块和系统管理模块；组件接入模块设有接口单元，组件接入模块通过接口单元接入Hadoop组件和后台系统；用例管理模块，用于将要验证的场景编排成多个可以执行、验证的用例，并对测试用例进行保存管理和执行；用户管理模块，用于实现用户的分离，用例的共享和执行结果的管控，对系统运行状态和操作日志进行监控。所述开源组件验证平台具备强大的用户界面及良好的用例管理能力。方便开发人员快速完成大数据平台版本验证，降低人力成本，提高工作效率。

技术领域

本发明属于大数据技术领域，具体涉及一种Hadoop大数据组件统一验证系统。

背景技术

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和MapReduce。HDFS是分布式文件存储系统，用于存储海量数据；MapReduce是并行处理框架，实现任务分解和调度。Hadoop可以用来搭建大型数据仓库，对海量数据进行存储、分析、处理和统计等业务，功能十分强大。

Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。

目前Hadoop已经形成了包含丰富开源组件的生态圈，并都在以迅猛的速度向前发展。这样也就带来一系列问题：组件种类多，使用接口不一致，版本更迭快、学习成本高。现在许多公司有自己的大数据平台，如何跟上Hadoop快速的发展节奏，完成新版本组件验证，成为亟需解决的问题。

发明内容

本发明的目的在于，针对上述现有技术存在的缺陷，提供设计一种Hadoop大数据组件统一验证系统，以解决上述技术问题。

为了达到上述目的,本发明的技术方案是:

一种Hadoop大数据组件统一验证系统，包括开源组件验证平台，所述开源组件验证平台包括组件接入模块、用例管理模块和系统管理模块；

组件接入模块设有接口单元，组件接入模块通过接口单元接入Hadoop组件和后台系统；

用例管理模块，用于将要验证的场景编排成多个可以执行、验证的用例，并对测试用例进行保存管理和执行，并保存执行结果；

用户管理模块，用于实现用户的分离，用例的共享和执行结果的管控，对系统运行状态和操作日志进行监控。

进一步的,接口单元包括Shell接口、RestApi接口和JDBC接口；

Shell接口，用于系统在调用后台的shell命令；

RestApi接口，是满足一组架构约束条件和原则的Web Http通信接口；

JDBC接口，用于实现支持各类数据库的操作。

进一步的,所述数据库包括Oracle、Mysql和Hive。

进一步的,用例管理模块包括变量定义单元、步骤管理单元和用例调度单元；

变量定义单元，用于定义变量，在用例验证环境发生变化后，只须修改变量而无须修改用例；

步骤管理单元，用于实现组件操作任务的编排管理；可以将多个组件操作组成一个用例，保存在系统中。用例创建后可以修改，也可以按照目录结构将用例进行保存。这样可以方便批量执行某个目录下的用例；