[发明专利]Hive中自制用户提取信息工具的方法和装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种Hive中自制用户提取信息工具的方法和装置。

背景技术

随着数据海量剧增，单一的计算机已经不能存储海量数据，因此，分布式集群受到了大家的关注。在分布式集群中，可以将数据分布到多台计算机中存储并且可以实现分布式计算。Hadoop是分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用廉价计算机集群的威力高速运算和存储。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，提供完整的结构化查询语言(SQL，Structured Query Language)查询功能，可以将SQL语句转换为MapReduce任务进行运行，也可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，Hive是非常适合数据仓库的统计分析。

Hive的类SQL语言给数据挖掘工作者带来了很多便利，海量数据通过简单的SQL语句就可以完成分析，但Hive提供的函数功能满足不了用户的个性化业务需求。

发明内容

为了解决上述技术问题，本发明提供了一种Hive中自制用户提取信息工具的方法和装置，能够提供满足用户个性化需求的查询工具。

为了达到本发明目的，本发明提供了一种Hive中自制用户提取信息工具的方法，包括：编写新类，该新类继承Hive中的用户自定义函数UDF类；根据用户自定义需求，在新类中重构evaluate函数，完成Hive中自制用户提取信息工具；将Hive中自制用户提取信息工具进行打包，并导入到目标分布式集群中；在Hive客户端上配置Hive中自制用户提取信息工具，并使用Hive中自制用户提取信息工具查询用户需要的数据。

进一步地，编写新类，该新类继承Hive中的用户自定义函数UDF类，包括：编写org.apache.hadoop.hive.ql.UDF，继承Hive中的UDF类。

进一步地，将该Hive中自制用户提取信息工具进行打包，并导入到目标分布式集群中，包括：将Hive中自制用户提取信息工具打包成usr_extract.jar，将usr_extract.jar导入到目标分布式集群中。

进一步地，在Hive客户端上配置Hive中自制用户提取信息工具，包括：启动Hive客户端，用add jar/usr/lib/usr_extract.jar命令在Hive客户端中添加usr_extract.jar；用CREATE TEMPORARY FUNCTION usr_extract AS‘com.hive.udf.UsrExtract’命令创建临时函数。

进一步地，使用Hive中自制用户提取信息工具查询用户需要的数据，包括：根据临时函数，使用select查询对应的Hive中自制用户提取信息工具，使用Hive中自制用户提取信息工具查询用户需要的数据。

进一步地，该方法还包括：在用户查询结束后，销毁所述临时函数。

进一步地，该方法还包括：若在evaluate函数中有重载函数，根据参数个数和/或参数类型调用相应的evaluate查询用户需要的数据。

一种Hive中自制用户提取信息工具的装置，包括：新类编写模块，用于编写新类，该新类继承Hive中的UDF类；重构函数模块，用于根据用户自定义需求，在新类中重构evaluate函数，完成Hive中自制用户提取信息工具；

配置模块，用于将Hive中自制用户提取信息工具进行打包，并导入到目标分布式集群中，在Hive客户端上配置Hive中自制用户提取信息工具；查询模块，用于使用Hive中自制用户提取信息工具查询用户需要的数据。

与现有技术相比，本发明包括：编写新类，该新类继承Hive中的用户自定义函数UDF类；根据用户自定义需求，在新类中重构evaluate函数，完成Hive中自制用户提取信息工具；将Hive中自制用户提取信息工具进行打包，并导入到目标分布式集群中；在Hive客户端上配置Hive中自制用户提取信息工具，并使用Hive中自制用户提取信息工具查询用户需要的数据。本发明使用Hive中提供的自定义函数UDF开发符合用户的个性化需求的工具，能够满足用户的个性化查询，并且能够在select中使用，增加了用户查询的便利性。

附图说明

图1是本发明Hive体系的结构示意图。

图2是本发明Hive中自制用户提取信息工具的方法的流程示意图。