[发明专利]一种基于列存储的区级数据压缩方法

摘要

本发明涉及一种基于列存储的数据压缩方法，其特征在于包括以下步骤：步骤1、将按列存储的数据进一步划分为多个区；步骤2、为区中的数据定义一组统计信息；步骤3、利用步骤2中的统计信息，为每一个区按顺序定义一组统计量，进行该区数据分布特点的量化估计；步骤4、利用学习得到的区的统计量计算相邻两区之间的相似因子；步骤5、对于一列中的第一个区，依次计算各个统计量的值，采用逐步选择的方法，根据统计值进行压缩方法选择；步骤6、对于剩余第i个区，利用该区的统计值计算相邻两区之间的相似因子；若相似性较高，则直接沿用上一区的压缩策略，否则按照步骤5中压缩方法选择方式，重新选择压缩方法；步骤7、对当前区按获得的压缩方法进行压缩。本发明提供了一种基于列存储的压缩方法，按区进行压缩，并设计了高效的压缩策略选择方法，能够有效的支持面向列存储的海量数据管理。

主权项

1.一种基于列存储的区级数据压缩方法，其特征在于，步骤为：步骤1、对于按列列存储的数据，任意一个列Ai中的数据在逻辑上对应一个数据段S_i，S_i∈S，S为所有数据段的集合，将每个数据段均匀分为若干个区，区是一系列连续块的集合；步骤2、定义一组统计信息，记为集合T_i＝{t，o，s，a，d，n，c，l}，其中t表示第i个区的数据类型，o表示i个区是否排序，r表示第i个区中item的数目，s表示区中相同值的数目，a表示区中相同值的总的item条数，d表示区中不同值的数，n表示区中空值的数目，c表示区中相同值连续的平均数目，l表示区中item的平均长度；步骤3、在步骤2的基础上按顺序定义一组统计量，第i个区的该组统计量记为各统计量分别描述第i区中数据分布的不同特点，依次对应于：区的数据类型，为枚举类型，包括整型、浮点型、字符型、布尔型、变长字符等，区中数据是否排序，区中空值记录所占的百分比，区中相同值所占的百分比，区中相同值连续的平均数目，区中不同值的数目，区中连续块的平均长度；步骤4、利用区的统计量估计相邻两区数据分布的相似性，定义了第i区与第i+1区之间统计量的相似因子步骤5、对于一列中的第一个区，利用统计量进行压缩方法选择；步骤6、对于剩余的第i个区，利用步骤4获得其与前一区的相似因子，若相似性较高，则直接沿用上一区的压缩策略，否则利用步骤3中当前区统计值，重新选择压缩方法；步骤7、对当前区按获得的压缩方法进行压缩。