[发明专利]一种基于Hadoop的数据管理系统及其管理方法

权利要求书

1.一种基于Hadoop的数据管理系统，其特征在于，包括：

前端组件、Hadoop框架、HDFS分布式文件系统、Oozie组件、Hive数据仓库工具和Sqoop处理工具；

所述HDFS分布式文件系统、Oozie组件、Hive数据仓库工具和Sqoop处理工具均搭建在所述Hadoop框架中；

所述前端组件，用于在接收到用户输入的数据管理操作时，将所述数据管理操作发送给所述Oozie组件；

所述Oozie组件，用于在接收到所述数据管理操作时，调用所述Hive数据仓库工具确定所述数据管理操作对应的元数据，并调用所述Sqoop处理工具，根据所述数据管理操作对所述HDFS分布式文件系统中所述数据管理操作对应的元数据对应的待管理数据进行管理，其中，所述数据管理操作对应的元数据与所述待管理数据为映射关系。

2.根据权利要求1所述的基于Hadoop的数据管理系统，其特征在于，

所述前端组件，进一步用于在接收到所述用户输入的用于请求待查询数据的数据请求命令时，将所述数据请求命令发送给所述Oozie组件；

所述Oozie组件，进一步用于在接收到所述数据请求命令时，调用所述Hive数据仓库工具确定是否存在所述数据请求命令对应的元数据，当确定存在所述数据请求命令对应的元数据时，调用所述Hive数据仓库工具从所述HDFS分布式文件系统中读取与所述数据请求命令对应的元数据相对应的待查询数据，并将所述待查询数据发送给所述前端组件，其中，所述数据请求命令对应的元数据与所述待查询数据为映射关系；

所述前端组件，用于在接收到所述待查询数据时，展示所述待查询数据。

3.根据权利要求1所述的基于Hadoop的数据管理系统，其特征在于，

所述前端组件，进一步用于在接收到用户输入的用于验证身份的用户注册信息时，将所述用户注册信息发送给所述Oozie组件；

所述Oozie组件，进一步用于在接收到所述用户注册信息时，调用所述Hive数据仓库工具，确定是否存在与所述用户注册信息对应的元数据，当不存在与所述用户注册信息对应的元数据时，向所述前端组件发送提示信息，以使所述前端组件展示所述提示信息，其中，所述提示信息指示所述用户无访问所述HDFS分布式文件系统的权限，所述用户注册信息对应的元数据与所述HDFS分布式文件系统中对应的目标注册信息为映射关系。

4.根据权利要求1所述的基于Hadoop的数据管理系统，其特征在于，进一步包括：Nginx服务器；

所述前端组件，进一步用于在接收到用户交互指令时，将所述交互指令发送给所述Nginx服务，其中，所述交互指令，包括：所述数据管理操作；

所述Nginx服务器，用于在接收到所述交互指令时，将所述交互指令发送给所述Oozie组件。

5.根据权利要求1至4中任一所述的基于Hadoop的数据管理系统，其特征在于，

所述Oozie组件，进一步用于记录所述Hive数据仓库工具和所述HDFS分布式文件系统的工作流信息。

6.一种基于Hadoop的数据管理系统的管理方法，其特征在于，包括：

将HDFS分布式文件系统、Oozie组件、Hive数据仓库工具和Sqoop处理工具均搭建在Hadoop框架中；

通过所述前端组件，在接收到用户输入的数据管理操作时，将所述数据管理操作发送给所述Oozie组件；

通过所述Oozie组件，在接收到所述数据管理操作时，调用所述Hive数据仓库工具确定所述数据管理操作对应的元数据；

通过所述Oozie组件，调用所述Sqoop处理工具，根据所述数据管理操作对所述HDFS分布式文件系统中所述数据管理操作对应的元数据对应的待管理数据进行管理，其中，所述数据管理操作对应的元数据与所述待管理数据为映射关系。