[发明专利]一种基于hive的历史数据存档与查询方法

权利要求书

1.一种基于hive的历史数据存档与查询方法，其特征在于，包括：

1)建立hive表，并在hive表中建立分区；

2)使用ETL工具从其它数据库中导出源数据，将源数据作为文件中的记录保存在文件中，即从其他数据库中导出的一条源数据对应于文件中的一条记录；

3)对文件中的记录进行验证；

4)通过验证后，将文件中的记录导入临时表，再将临时表中的数据插入有分区结构的hive表；

5)基于Thrift接口从hive表中查询历史数据。

2.如权利要求1所述的方法，其特征在于：所述步骤2)还包括：文件中的记录的每列采用‘|+|’进行分隔，记录的每行之间采用‘|-|’标记结尾，并跟上回车符；上述‘|+|’称为分隔符，‘|-|’称为分行符。

3.如权利要求2所述的方法，其特征在于：所述步骤3)中所述验证具体为：根据步骤1)中建立的hive表的列数信息统计文件中记录的列数信息是否正确，并且验证所述分隔符和分行符是否无误。

4.如权利要求1至3任一项所述的方法，其特征在于：所述步骤4)中所述将临时表中的数据插入有分区结构的hive表之前还包括去除所述分行符的步骤。

5.如权利要求4所述的方法，其特征在于：所述步骤4)中所述将临时表中的数据插入有分区结构的hive表包括：使用java调用shell脚本，在脚本中采用add jar语句将更改后的hive jar包导入hive中。

6.如权利要求1，2，3或5所述的方法，其特征在于：所述步骤5)具体为：客户端将查询请求翻译成thrift格式的命令，通过hive server2连接方式将所述thrift格式的命令发送到服务器，所述服务器将所述thrift格式的命令翻译成服务器可以识别的命令格式并执行，返回查询数据。