[发明专利]Hive中自制用户提取信息工具的方法和装置

权利要求书

1.一种Hive中自制用户提取信息工具的方法，其特征在于，包括：

编写新类，其中新类继承Hive中的用户自定义函数UDF类；

根据用户自定义需求，在新类中重构evaluate函数，完成Hive中自制用户提取信息工具；

将Hive中自制用户提取信息工具进行打包，并导入到目标分布式集群中；

在Hive客户端上配置Hive中自制用户提取信息工具，并使用Hive中自制用户提取信息工具查询用户需要的数据。

2.根据权利要求1所述的Hive中自制用户提取信息工具的方法，其特征在于，所述编写新类，其中新类继承Hive中的用户自定义函数UDF类，包括：

编写org.apache.hadoop.hive.ql.UDF，继承Hive中的UDF类。

3.根据权利要求1或2所述的Hive中自制用户提取信息工具的方法，其特征在于，所述将Hive中自制用户提取信息工具进行打包，并导入到目标分布式集群中，包括：

将Hive中自制用户提取信息工具打包成usr_extract.jar，将usr_extract.jar导入到目标分布式集群中。

4.根据权利要求3所述的Hive中自制用户提取信息工具的方法，其特征在于，所述在Hive客户端上配置Hive中自制用户提取信息工具，包括：

启动Hive客户端，用add jar/usr/lib/usr_extract.jar命令在Hive客户端中添加usr_extract.jar；

用CREATE TEMPORARY FUNCTION usr_extract AS‘com.hive.udf.UsrExtract’命令创建临时函数。

5.根据权利要求4所述的Hive中自制用户提取信息工具的方法，其特征在于，所述使用Hive中自制用户提取信息工具查询用户需要的数据，包括：

根据临时函数，使用select查询对应的Hive中自制用户提取信息工具，使用Hive中自制用户提取信息工具查询用户需要的数据。

6.根据权利要求5所述的防止Hive数据倾斜的方法，其特征在于，所述方法还包括：在用户查询结束后，销毁所述临时函数。

7.根据权利要求5所述的防止Hive数据倾斜的方法，其特征在于，所述方法还包括：若在evaluate函数中有重载函数，根据参数个数和/或参数类型调用相应的evaluate查询用户需要的数据。

8.一种Hive中自制用户提取信息工具的装置，其特征在于，包括：

新类编写模块，用于编写新类，该新类继承Hive中的UDF类；

重构函数模块，用于根据用户自定义需求，在新类中重构evaluate函数，完成Hive中自制用户提取信息工具；

配置模块，用于将Hive中自制用户提取信息工具进行打包，并导入到目标分布式集群中，在Hive客户端上配置Hive中自制用户提取信息工具；

查询模块，用于使用Hive中自制用户提取信息工具查询用户需要的数据。

9.根据权利要求8所述的Hive中自制用户提取信息工具的装置，其特征在于，所述新类编写模块，具体用于编写org.apache.hadoop.hive.ql.UDF，继承Hive中的UDF类；

所述配置模块，具体用于将Hive中自制用户提取信息工具打包成usr_extract.jar，将usr_extract.jar导入到目标分布式集群中；启动Hive客户端，用add jar/usr/lib/usr_extract.jar命令在Hive客户端中添加usr_extract.jar；用CREATE TEMPORARY FUNCTION usr_extract AS‘com.hive.udf.UsrExtract’命令创建临时函数。

10.根据权利要求9所述的Hive中自制用户提取信息工具的装置，其特征在于，

所述查询模块，具体用于根据临时函数，使用select查询对应的Hive中自制用户提取信息工具，使用Hive中自制用户提取信息工具查询用户需要的数据。