[发明专利]基于数据库行列混合存储的多规则复合压缩方法

摘要

本发明公开了一种基于数据库行列混合存储的多规则复合压缩方法。结合当前软硬件发展趋势以及数据库业界所面临的严重性能瓶颈，提出了将数据库内数据按元组行组织、按属性列压缩的混合存储压缩模式，既具备了列存储高压缩率的特性同时兼具行存储便于随机定位访问的优点。同时针对不同的数据分布特点提出了多种属性列内的规则编码方法，尤其针对数据库单表内各属性列间可能存在的关系提出了列间压缩规则，结合后端的通用压缩算法，能够高效的为上层数据库应用提供多级别的复合压缩功能，并保证在指定压缩率条件下最大化编解码速度。

主权项

一种基于数据库行列混合存储的多规则复合压缩方法，其特征在于采用以下步骤实现：：1)接收用户导入数据，并将所有数据按照用户表属性模式重组分割为多个属性列；2)对当前数据包内每个属性列数据利用字典规则压缩方法构建字典结构及权重表；3)针对每个属性列利用构建好的字典和权重信息预估该列使用各种列内压缩规则编码后的大小，根据对比为每个属性列选取空间占用最小的压缩规则；4)根据各个属性列的字典信息进行列间压缩规则发现，发现合适规则后将预估编码后大小与对应列的列内压缩规则比较，选取空间最优方案；5)根据最优压缩规则选择方案对数据包内每个属性列数据进行规则压缩编码；6)根据目标要求压缩级别，利用通用压缩方法对规则编码后的列数据进行复合压缩，达到预期压缩率后即完成该数据包压缩。