[发明专利]一种支持HiveDML增强的混合存储系统及其方法

摘要

本发明公开了一种支持Hive DML(Data Manipulation Language)增强的混合存储系统及其方法，该存储系统基于DualTable表建立，包括DualTable表创建模块和DualTable表执行模块；DualTable表创建模块用于建立包含主表和附表，为每行数据维护了唯一ID并基于代价模型对外提供特定操作集的DualTable表；DualTable表执行模块用于基于DualTable的主表和附表实现对DualTable表中的数据进行读取和查询，基于DualTable的附表实现对DualTable表中的数据进行更改，基于代价模型实现DualTable表提供的操作集，基于有序的每行数据唯一ID实现主表和附表数据读取时的合并。

主权项

一种支持Hive DML增强的混合存储系统，其特征在于，包括：DualTable表创建模块：用于建立包含主表和附表，为每行数据维护了唯一ID并基于代价模型对外提供操作集的DualTable表，所述DualTable表创建模块指定使用所述DualTable表专用的InputFormat，OutputFormat和SerDe，所述DualTable表创建模块允许设置所述DualTable表的参数，每一所述DualTable表模式中的第一列默认为数据行ID，所述主表使用Hive默认的HDFS存储，所述附表使用HBase存储，创建过程中检查并创建HBase中对应的所述附表，所述操作集为所述DualTable提供的操作集合，包含：Union Read、UPDATE、DELETE、INSERT INTO、CREATE、DROP、LOAD和COMPACT；DualTable表执行模块：用于基于所述主表和所述附表实现对所述DualTable表中的数据读取和查询，基于所述附表实现对所述DualTable表中的数据进行更改，基于所述代价模型实现所述DualTable表提供的操作集，基于有序的每行数据的所述唯一ID实现所述主表和所述附表数据读取时的合并。