[发明专利]一种支持HiveDML增强的混合存储系统及其方法

权利要求书

1.一种支持Hive DML增强的混合存储系统，其特征在于，包括： 

DualTable表创建模块：用于建立包含主表和附表，为每行数据维护了唯一ID并基于代价模型对外提供特定操作集的DualTable表； 

DualTable表执行模块：用于基于所述主表和所述附表实现对所述DualTable表中的数据读取和查询，基于所述附表实现对所述DualTable表中的数据进行更改，基于所述代价模型实现所述DualTable表提供的操作集，基于有序的每行数据的所述唯一ID实现所述主表和所述附表数据读取时的合并。 

2.根据权利要求1所述支持Hive DML增强的混合存储系统，其特征在于，所述维护每行数据唯一ID的机制用于维护每行数据唯一的ID，确保不同存储系统间读取数据有序合并。 

3.根据权利要求1所述支持Hive DML增强的混合存储系统，其特征在于，所述主表用于所述DualTable表的数据存储，采用分布式文件存储。 

4.根据权利要求1所述支持Hive DML增强的混合存储系统，其特征在于，所述附表用于存储所述DualTable表中数据的更改信息。 

5.根据权利要求1所述支持Hive DML增强的混合存储系统，其特征在于，所述操作集为所述DualTable提供的操作集合，包含：Union Read、UPDATE、DELETE、INSERT INTO、CREATE、DROP、LOAD和COMPACT。 

6.根据权利要求1所述支持Hive DML增强的混合存储系统，其特征在于，基于所述代价模型，实现所述UPDATE和DELETE操作。 

7.根据权利要求6所述支持Hive DML增强的混合存储系统，其特征在于，所述UPDATE操作和DELETE操作包括：OVERWRITE操作方式和EDIT操作方式。 

8.根据权利要求7所述支持Hive DML增强的混合存储系统，其特征在于，基于所述代价模型计算对所述OVERWRITE和EDIT操作方式进行动态选取。 

9.根据权利要求1所述支持Hive DML增强的混合存储系统，其特征在于，所述DualTable表执行模块，还包括： 

数据读取模块：通过专用输入格式读取所述DualTable表中的数据； 

数据查询模块：用于根据所述数据读取模块的读取数据，通过查询语句对所述DualTable中的数据进行查询； 

数据行ID管理模块：用于确保所述每行数据唯一ID在整个所述DualTable表中的唯一性； 

COMPACT模块：用于将DualTable表的附表中的数据合并进主表，并清空附表数据； 

代价模型模块：包含代价模型参数获取子模块，用于获取所述代价模型所需的计算参数，基于所述代价模型的估算，支持所述DualTable表的删除和更新操作的实现； 

删除和更新模块：用于基于所述代价模型模块的动态计算，实现所述UPDATE和所述DELETE操作。 

10.根据权利要求1所述支持Hive DML增强的混合存储系统，其特征在于，还包括： 

命令处理模块：用于外部向所述DualTable表提交命令，并将所述命令进行格式转换。 

11.根据权利要求1所述支持Hive DML增强的混合存储系统，其特征在于，还包括： 

并发控制模块：用于通过语句加锁机制，对需要操作的所述数据进行加锁，确保操作的并发控制。 

12.一种支持Hive DML增强的混合存储方法，应用于如权利要求1-11中任一项所述混合存储系统，所述系统基于DualTable表建立，所述混合存储方法，包括： 

DualTable表创建步骤：用于建立包含主表和附表，为每行数据维护了唯一ID并基于代价模型对外提供特定操作集的DualTable表； 

DualTable表执行步骤：用于基于所述主表和所述附表实现对所述DualTable表中的数据读取和查询，基于所述附表实现对所述DualTable表中的数据进行更改，基于所述代价模型实现所述DualTable表提供的操作集，基于有序的每行数据的所述唯一ID实现所述主表和所述附表数据读取时的合并。