[发明专利]一种基于Hadoop的数据管理系统及其管理方法

说明书

本发明提供了一种基于Hadoop的数据管理系统及其管理方法，包括：前端组件、Hadoop框架、HDFS分布式文件系统、Oozie组件、Hive数据仓库工具和Sqoop处理工具；HDFS分布式文件系统、Oozie组件、Hive数据仓库工具和Sqoop处理工具均搭建在Hadoop框架中；前端组件，用于在接收到用户输入的数据管理操作时，将数据管理操作发送给Oozie组件；Oozie组件，用于在接收到数据管理操作时，调用Hive数据仓库工具确定数据管理操作对应的元数据，并调用Sqoop处理工具，根据数据管理操作对HDFS分布式文件系统中数据管理操作对应的元数据对应的待管理数据进行管理，其中，数据管理操作对应的元数据与待管理数据为映射关系。本方案能够降低数据管理的难度。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于Hadoop的数据管理系统及其管理方法。

背景技术

近些年以来，大数据的浪潮席卷而来，而在大数据的浪潮之下，有一个不可忽视，占据十分重要地位的生态系统，那就是分布式文件系统(Hadoop Distributed FileSystem，HDFS)。HDFS从一项边沿技术迅速发展，成为现在大数据的主流技术，几乎已经成为大数据的代名词。

目前，在通过HDFS进行数据管理时，需要用户通过命令行的方式输入相应的参数。

通过上述描述可见，现有技术通过命令行对进行数据管理的方式，需要用户提前熟悉相应的参数，从而使得数据管理的难度大。

发明内容

本发明实施例提供了一种基于Hadoop的数据管理系统及其管理方法，能够降低数据管理的难度。

第一方面，本发明实施例提供了一种基于Hadoop的数据管理系统，包括：

前端组件、Hadoop框架、HDFS分布式文件系统、Oozie组件、Hive数据仓库工具和Sqoop处理工具；

所述HDFS分布式文件系统、Oozie组件、Hive数据仓库工具和Sqoop处理工具均搭建在所述Hadoop框架中；

所述前端组件，用于在接收到用户输入的数据管理操作时，将所述数据管理操作发送给所述Oozie组件；

所述Oozie组件，用于在接收到所述数据管理操作时，调用所述Hive数据仓库工具确定所述数据管理操作对应的元数据，并调用所述Sqoop处理工具，根据所述数据管理操作对所述HDFS分布式文件系统中所述数据管理操作对应的元数据对应的待管理数据进行管理，其中，所述数据管理操作对应的元数据与所述待管理数据为映射关系。

优选地，

所述前端组件，进一步用于在接收到所述用户输入的用于请求待查询数据的数据请求命令时，将所述数据请求命令发送给所述Oozie组件；

所述Oozie组件，进一步用于在接收到所述数据请求命令时，调用所述Hive数据仓库工具确定是否存在所述数据请求命令对应的元数据，当确定存在所述数据请求命令对应的元数据时，调用所述Hive数据仓库工具从所述HDFS分布式文件系统中读取与所述数据请求命令对应的元数据相对应的待查询数据，并将所述待查询数据发送给所述前端组件，其中，所述数据请求命令对应的元数据与所述待查询数据为映射关系；

所述前端组件，用于在接收到所述待查询数据时，展示所述待查询数据。

优选地，

所述前端组件，进一步用于在接收到用户输入的用于验证身份的用户注册信息时，将所述用户注册信息发送给所述Oozie组件；