[发明专利]基于Web数据交互管理Hive的方法及其系统

说明书

本发明涉及基于Web数据交互管理Hive的方法及其系统，该方法包括登录Web管理页面，创建任务，对任务进行分组，创建任务组；到达指定时间激活任务，由任务组类型选择器读取待执行的任务组信息，根据任务组的属性选择特定的任务组执行器；任务组执行器执行任务组内的子节点任务；实时记录任务、任务组的详细日志信息。本发明通过利用Web管理页面建立任务并分组，利用任务组类型选择器读取信息，调用任务组执行器执行子节点任务，实时记录任务、任务组的详细日志信息，方便、有效地管理大量的Hive任务，不需要编写重复的任务管理程序，提高Hive任务创建和执行的效率，节省维护人员的维护时间，登录Web页面即可使用，不需具备编写Shell或Python脚本能力，降低人力成本。

技术领域

本发明涉及任务管理的技术领域，更具体地说是指基于Web数据交互管理Hive的方法及其系统。

背景技术

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(largedata set)的应用程序。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive脚本常见的管理方式是可以使用Shell脚本，如可以编写以下脚本(test.sh)：

hive-f test1.sql；

hive-f test2.sql；

然后执行sh test.sh，即可以执行test1和test2这两个Hive任务。即使用Hive任务的管理大多是编写好脚本文件，然后使用Python或者Shell等脚本进行执行和管理，对于少量的任务执行比较方便，但是不便于管理过多的Hive任务，需要编写大量重复的脚本，也很难实现复杂的任务流程化处理，并且对任务的执行状态、是否发生错误等信息无法实时监控，日志信息也无法清晰地查看，这样维护人员不仅需要消耗大量的维护时间，还需要具备Python或者Shell等相关知识的处理能力，增大了维护人员的技术门槛，极大地降低了工作效率。

因此，有必要设计一种基于Web数据交互管理Hive的方法，实现方便、有效地管理大量的Hive任务，不需要编写重复的任务管理程序，极大地提高了Hive任务创建和执行的效率，节省了维护人员的维护时间，提高工作效率。

发明内容

本发明的目的在于克服现有技术的缺陷，提供基于Web数据交互管理Hive的方法及其系统。

为实现上述目的，本发明采用以下技术方案：基于Web数据交互管理Hive的方法，包括以下步骤：

登录Web管理页面，创建任务，对任务进行分组，创建任务组；

到达指定时间激活任务，由任务组类型选择器读取待执行的任务组信息，根据任务组的属性选择特定的任务组执行器；

任务组执行器执行任务组内的子节点任务；

实时记录任务、任务组的详细日志信息。

其进一步技术方案为：所述登录Web管理页面，创建任务，对任务进行分组，创建任务组的步骤，包括以下具体步骤：

登录Web管理页面，填写任务名称、任务介绍以及上传任务要执行的脚本；

对任务进行分组，形成任务组，并选择每个任务组的任务的执行模式是顺序执行模式或者随机执行模式；